spark
yc..
这个作者很懒,什么都没留下…
展开
-
spark出现task org.apache.spark.SparkException: Task not serializable
出现“task not serializable”这个错误,一般是因为在map、filter等的参数使用了外部的变量,但是这个变量不能序列化。特别是当引用了某个类(经常是当前类)的成员函数或变量时,会导致这个类的所有成员(整个类)都需要支持序列化。解决这个问题最常用的方法有:如果可以,将依赖的变量放到map、filter等的参数内部定义。这样就可以使用不支持序列化的类 如果可以,将依赖的变量独立放到转载 2016-08-02 20:16:20 · 2378 阅读 · 0 评论 -
spark alone模式参数中英文对照
参考 http://www.oschina.net/translate/spark-standalone?cmp转载 2016-06-27 11:50:38 · 519 阅读 · 0 评论