spark报错集锦

在虚拟机运行spark-shell命令报错：

问题1：启动hadoop和spark后在终端输入spark-shell命令报错如下：

解决办法：

1.环境

将hive中的hive-site.xml拷贝到spark下的conf目录下

将/usr/local/src/apache-hive-3.1.0-bin/lib下的mysql-connector-java-5.1.46-bin.jar包拷贝到spark目录下的jars目录下

2.重启spark，hdfs，重启虚拟机。

问题2：启动hadoop和spark后，在终端输入命令spark-shell --master yarn-client（在yarn上启动spark-shell）报错如下：

解决办法：

更改yarn-site.xml配置文件：

新增两行配置：