Spark Core:第二章 spark集群遇到的问题解决
文章目录
—>Spark知识点总结导航<—
—>Spark Core:第三章 执行spark程序<—
Q1:Standalone模式提交任务
- 错误描述:
19/05/01 05:34:01 ERROR SparkContext: Error initializing SparkContext. java.net.ConnectException: Call From Cloud01/192.168.31.135 to Cloud01:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
- 错误原因 :未启动HDFS,导致连接被拒绝
- 解决方案 :启动HDFS(
start-dfs.sh
)
请参考集群启动方式>>>>
Q2:YARN模式提交任务
- 错误描述:
Exception in thread “main” j