![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
hgz_dm
这个作者很懒,什么都没留下…
展开
-
spark-submit提交python脚本过程记录
最近刚学习spark,用spark-submit命令提交一个python脚本,一开始老报错,所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spark-submit的可选参数 1.spark-submit参数 --masterMASTER_URL:设置集群的主URL,用于决定任务提交到何处执行。常见的选项有 l...原创 2019-07-23 16:27:22 · 14613 阅读 · 3 评论 -
记录一次读取hdfs文件时出现的问题java.net.ConnectException: Connection refused
公司的hadoop集群是之前的同事搭建的,我(小白一个)在spark shell中读取hdfs上的文件时,执行以下指令 >>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt") >>> word.first() 报错:java.net.ConnectException: Ca...原创 2019-07-19 11:08:56 · 2369 阅读 · 1 评论