在执行spark脚本时报出spark未序列化异常,
解决办法:
在spark-defaults.conf文件中追加以下内容:
spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max.mb=1024
把spark-defaults.conf文件scp到集群中每个node中~~~ 重启spark–>>OK
在执行spark脚本时报出spark未序列化异常,
解决办法:
在spark-defaults.conf文件中追加以下内容:
spark.serializer=org.apache.spark.serializer.KryoSerializer
spark.kryoserializer.buffer.max.mb=1024
把spark-defaults.conf文件scp到集群中每个node中~~~ 重启spark–>>OK