Spark Task未序列化(Task not serializable)问题分析及解决
在编写Spark程序中,在map等算子内部由于使用了外部定义的变量和函数,从而导致出现Task未序列化问题,而由于Spark算子内部往往需要根据外部指定的配置进行计算,因此使用外部变量有时在所难免。为了解决Task序列化问题,这里对其进行了研究和总结。出现“org.apache.spark.SparkException: Task not serializable”这个错误,一般
原创
2015-05-23 16:07:14 ·
15947 阅读 ·
0 评论