关于本地运行spark程序报错的问题(持续更新)

报错1

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
在本地运行spark程序,按照网上的方法,进行配置后任然无法解决的,可以尝试在程序中加入:

System.setProperty("hadoop.home.dir", "D:\\hadoop-common-2.2.0-bin-master")

这样的话就可以正常运行了

报错2

Caused by: java.lang.ClassNotFoundException: org.apache.spark.SparkConf

解决方法见图注释

报错3

INFO DAGScheduler: Job 0 failed: foreach at RemainCut.scala:24, took 0.430840 s
Exception in thread “main” org.apache.spark.SparkException: Job aborted due to stage failure: Task 0.0 in stage 0.0 (TID 0) had a not serializable result: com.jrq.spark.session.User
Serialization stack:
原因:没有实现序列化,最简单的一种是在.avsc文件生成的java类中继承Serializable,但是这时候问题来了,你把这个类删了,然后再去生成,就没了,所以这是一种不保险的操作
解决方法:
// 开启kryo序列化
conf.set(“spark.serializer”, “org.apache.spark.serializer.KryoSerializer”)
这是spark的kryo机制 性能比Serializable好多了,注意这句话必须要夹在sc创建之前,否则无效
特别说明:凡是要进行网络传输的,都需要进行序列化

报错4

org.apache.spark.SparkException: Task not serializable
参考:https://www.cnblogs.com/zwCHAN/p/4305156.html

出现这个报错是因为map、filter等的参数使用了外部的变量，但是这个变量不能序列化。特别是当引用了某个类（经常是当前类）的成员函数或变量时，会导致这个类的所有成员（整个类）都需要支持序列化
比如:
在对一个RDD进行计算的时候,我把implicit val formats = Serialization.formats(NoTypeHints)这个放在外边,当我调用write(air)转成json的时候,就会报这个错误,因为我在这里已经引用了这个外部变量了,简单的做法就是放在内部去