![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据--spark
初冬听雪
一名从事大数据开发的成长心得
展开
-
Container exited with a non-zero exit code 15
最近在自己搭建的spark on yarn跑测试程序,提交代码之后就遇到Container exited with a non-zero exit code 15这个错误,仔细检查后发现是代码中创建sparkConf有setMaster("local[*]")定位到问题代码处:在平时开发中难免会本地测试一下然后提交集群验证,一定要注意提交到集群注释掉这个local,大多都会在spark-submit中指定master和deploy-mode。 以后在集群跑程序遇到这个code=15时就检查.原创 2020-06-09 00:19:17 · 4353 阅读 · 0 评论 -
sparkstreaming结合kafka在集群运行报错
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka010/KafkaUtils最近在自己搭建的hadoop集群和spark集群深入学习kafka,有段时间没使用,都快忘记了,记录一下遇到过的坑。 由于是第一次搭建的环境,hadoop的lib目录以及spark的jars目录只有一些核心的jar包,如果开发中用到了其他的jar包,是需要导入到集群的目录中,这样打包程...原创 2020-06-02 22:25:22 · 629 阅读 · 0 评论