我的大数据之旅-Spark shell Word Count

目录

上传文件到HDFS

运行Spark shell

统计RELEASE文件里每个单词的数量

查看Job结果

---

---

上传文件到HDFS

#hdfs创建spark目录：
[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ hdfs dfs -mkdir spark
#将Spark RELEASE文件上传到hdfs spark目录下
[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ hdfs dfs -put RELEASE spark/

运行Spark shell

[fengling@hadoop129 spark-2.4.4-bin-hadoop2.7]$ bin/spark-shell --master spark://hadoop129:7077

--master 参数指定不指定都可以，如图，已经成功起动spark shell