Spark相关错误汇总

前面介绍了Spark开发环境的搭建，下面将在实际开发过程中遇到的一些问题汇总一下：

1、Exception in thread "main" com.typesafe.config.ConfigException$Missing: No configuration setting found for key 'akka.version'
　　这种情况，我出现的是原因提交job到spark集群中，采用的是java -jar的方式。
　　正确的做法是：用spark-submit 命令的方式提交job。例如：

　　spark-submit  --class   "com.yiban.datacenter.Spark_RDD.demo"   --master   local    Spark-RDD-0.0.1-SNAPSHOT-jar-with-dependencies.jar  /user/liujiyu/data/TestData（参数）

 

2、ERROR LiveListenerBus: Listener EventLoggingListener threw an exception
　　这种情况出现的原因是由于代码当中对于SparkContext并没有关闭资源所导致的。
　　正确的做法：在代码的末尾加上：sc.stop()即可。

 

 

（未完待续）

　　

 

转载于:https://www.cnblogs.com/ljy2013/p/5063923.html