spark-shell运行wordcount

1）准备数据

#用鼠标将桌面的txt文件拖入本机
#进入容器
#创建文件夹
cd home
mkdir test_data
#退出容器，到本机
#将本机数据导入容器中
docker cp /tmp/test_data/test_wc.txt 4582ef53febe:home/test_data/

2）hdfs 操作

#1、进入容器的hadoop
cd /root/hadoop
#2、执行hadoop里的工具
./bin/
#3、将容器中的数据导入hdfs中
hdfs dfs -put /home/test_data/test_wc.txt /dbtaobao/dataset
#4、查看导入hdfs中的数据
hdfs dfs -cat /dbtaobao/dataset/test_wc.txt
##导完数据，接下来执行spark-shell

#5、查看wordcount的文件夹文件
hdfs dfs -ls /output1
#6、查看wordcount结果
hdfs dfs -cat /output1/_SUCCESS
hdfs dfs -cat /output1/part-00000
hdfs dfs -cat /output1/part-00001

3）spark-shell

启动:spark-shell
默认hdfs端口号：hdfs://hbase-master.hadoop-docker:54310/

#一行执行wordcount
sc.textFile("hdfs://hbase-master.hadoop-docker:54310/dbtaobao/dataset/test_wc.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://hbase-master.hadoop-docker:54310/output1")

#读取hdfs里的数据
val textFile = sc.textFile("hdfs://hbase-master.hadoop-docker:54310/dbtaobao/dataset/test_wc.txt")
#查看数据个数
textFile.count()
#查看数据第一行
textFile.first()
#退出 spark-shell
:quit