最近一直在写spark 相关的项目, 但是以前从没有接触过spark 相关的东西, 只能是边学边用。
后面准备在 这里记录 在学习、使用spark过程中,遇到的问题
今天要记录的问题是: 使用 spark alone 运行模式下, 进场遇到的问题—— java.io.NotSerializableException
1、在哪几种情况下, 会发生这个问题
(1)类、方法 没有被序列化
类没有被序列化, 代码如下:
class GetData {
def init(): Unit = {
val rdd = sc.textfile(.....)
val local = rdd.map(.....)
}
}
object test {
val s = new GetData()
s.init()
}
这种情况下, 就会出现 NotSe