Spark
文章平均质量分 84
CLHugh
大数据、机器学习、深度学习
展开
-
Spark程序提交到集群中
spark-submit 提交任务时,报: Invalid signature file digest for Manifest main attributes 问题来源:使用IDEA将编写好的Spark程序打包成jar包,运行在集群时报错。 解决办法:切换到jar包所在目录,使用如下命令: zip -d .jar META-INF/.RSA META-INF/.DSA META-INF/*.转载 2016-11-14 22:17:36 · 641 阅读 · 0 评论 -
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上
Windows 上面搭建 Spark + Pycharm/idea scala/python 本地编写Spark程序,测试通过后再提交到Linux集群上原创 2017-07-06 18:36:55 · 4470 阅读 · 2 评论