这篇博客讲述了作者在Spark standalone集群中尝试通过spark submit执行存储在HDFS上的jar包时遇到的问题及官方解释。官方指出在standalone模式下不支持直接提交HDFS路径的jar，并建议使用本地路径或YARN模式。作者提供了两种解决方案：一是通过SSH将HDFS上的jar下载到服务器本地，二是设置HDFS与本地文件系统的映射。文章最后提到这个问题暴露出不同Spark部署模式之间的差异，并预告可能探讨这些模式的区别。
突发奇想的第一篇博文！（其实最主要的新买的键盘，想打字=-=）
还不知道写点神马呐，但在技术论坛，光发感想的话，是不是有点违和。
而且好久不写东西，感觉自己一肚子话，无从说起。。。想当年我也是偏偏作文当范文，还喜欢舞文弄墨的伪文青啊！
就写写这两天刚刚遇到的一个小坑吧
我的spark是standalone集群方式
使用spark submit命令发布spark任务时，把jar放到本地的可以正常执行；命令：
saprk-submit --class SparkStreamingDemo --master local[8] 
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
扫一扫
821
