第一次：在集群上运行 jar 包

开始接触Jar包，脑子是真烧的不行，为了不忘记，那就记在回忆里。。。。

---------------------------------------------------------------------

一、在 IDEA 上生成 jar 包

点击菜单栏左上角File —> project structure...

—> Artifacts  —> 添加 + JAR  —> 选择 From modules with dependencies....，出现新的设置窗口

设置 Module: objects, Main Class: WordCount001(这两项跟自己创建的实际案例相对应), 点击 OK，出现新的窗口

设置项目名称Name, Jar 包存储路径，注意 Main Class 路径不要为空，我都犯了这样的错误，结果肯定是没法运行的。点击OK

点击菜单栏上的 Build  —> Build Artifacts  —> Build

 

  

此时，Jar 包存放在 /opt/objects/targets/

二、将生成的 jar 包 放入集群

首先，在 Namenode 机上创建一个文件夹：

[root@hadoop011 /] # mkdir /opt/jars

然后通过 IDEA 所在终端 将 jar 包传入上面计算机 hadoop011

[root@idea081 /] # scp -r /opt/objects/targets/objects.jar root@hadoop011:/opt/jars

在相应的机子上开启集群(哈哈，我们是虚拟机上创建的集群，虽不正是，但足够个人学习啦）

[root@hadoop011 /]# start-dfs.sh

[root@hadoop012 /]# start-yarn.sh

最后通过 hadoop011 将 本地文件 objects.jar  上传到集群

[root@hadoop011 /]# hadoop fs -mkdir /JARs        ----- 在集群上创建一个目录JARs，用来放置Jar 包

[root@hadoop011 /]# hadoop fs -put /opt/jars/WordCount001_jar/ /JARs/    -----Jar 包由本地上传集群

三、运行 Jar 包

[root@hadoop011 jars]# hadoop jar objects.jar /input/poem.txt /output  

-------/input/poem.txt 是运行的目标文件路径

-------/output 是结果输出路径

通过下面指令就可以查看结果文件 part-r-00000

[root@hadoop011 jars]# hadoop fs -ls /output

 

[root@hadoop011 jars]# hadoop fs -cat /output/part-r-00000

 

---------------------------------------------------------------------------------------------------------------------------------

OK，算是又 Get 一个新技能吧，虽然本人技术low，但却是每日的小进步。。。。。哈哈