Spark中常见的错误以及修改方案

1、在Windows中运行，缺少模拟Hadoop的运行环境，报这样的错是因为你windows下的hadoop中没有hadoopzaiwindows下执行所需要的插件：winutils.exe解决方式：

配置一下就可以解决。文件位置随便设置，这里是在D:\soft\hadoop3\bin,注意在配置路径时，bin目录不需要添加。配置完成后重启idea

2、  ERROR spark.SparkContext: Error initializing SparkContext.

因为更改过spark/conf目录里面的spark-defaults.conf这个文件，所以在每次启动spark的submit模式或者是shell窗口都会先把日志写在hadoop的hdfs里面

所以解决方式：

        1.spark的历史服务器日志配置在本地Linux文件系统上

        2.依旧使用hdfs文件系统作为写入日志的地方，不过开启spark之前需要开启hadoop