大数据 - 第十三课 ：利用WordCount生成jar包上传HDFS

在家目录下输入命令ll可以查看家目录下文件的详细信息

查看HDFS目录下的文件夹

新建文件夹

上传文件到HDFS目录

短路径：val lines=sc.textFile("/csnb/wordcount.txt")
完整url（”hdfs：//master:9000/csnb/wordcount.txt”）

全路径打开idea，修改上节课的程序路径
生成jar包，选择菜单栏中的“File”，点击“Project Structure”

选择“Artifacts”选项卡

在Main Class标签，点击右边的文件夹图标，browse搜索输入之后点击“OK”
删除掉多余的jar包，剩下最后一个wordcount.jar，变成“瘦包”

因为是第一次，选择“Build”

打包完成后，scp远程拷贝。
首先进入目录，

点击jar文件右键打开Terminal编辑器 将jar文件拷贝到master中

在家目录下执行：/home/cmj/spark-2.4.5/bin/spark-submit --master yarn-cluster wordcount.jar

出现即表示成功
利用cat命令查看分区内容

WordCount程序统计多个文件夹内容，首先删除csnb文件夹下的所有内容

再建立一个wordin文件夹，用来存放所有的txt文件。

上传俩个txt到hdfs上去，

在idea项目中修改路径为wordin文件夹，选择Build下的“Build Artifacts”（因为之前已经build过了）所以这里选择“rebuild”

等待build完成之后重复之前的操作，上传jar包到hdfs