spark-submit
文章平均质量分 77
董可伦
博主曾获2014年全国数学建模竞赛国家一等奖;有八年大数据经验,大数据领域专家、CSDN博客专家。Apache Hudi Active Contributor,喜欢开源,擅长并乐于分享Flink、Hudi、Spark等大数据领域的技术
展开
-
spark-submit报错:Application application_1529650293575_0148 finished with failed status
记录spark-submit提交Spark程序出现的一个异常,以供第一次出现这种异常且不知道原因,该怎么解决的的同学参考。原创 2018-07-11 09:22:26 · 10133 阅读 · 7 评论 -
Spark 通过 spark-submit 设置日志级别
Spark有多种方式设置日志级别,这次主要记录一下如何在spark-submit设置Spark的日志级别。1、如果在自己的测试集群上,直接修改$SPARK_HOME/conf下的log4j.properties即可2、如果在Eclipse里,将log4j.properties放在项目的src/main/resources即可3、如果在生产环境的集群,又不允许修改配置文件的话,用上面讲的spark-submit --conf 即可。...原创 2018-11-16 16:03:33 · 10223 阅读 · 1 评论