概要
在虚拟机上,将编写的MapReduce程序打包并上传,启动集群的Linux系统中
打包
Idea中打包 java程序的步骤:
1.File --> Project Structure --> Artifacts --> + -->JAR --> From modules with dependencies
随后在Main Class中选择driver
2.选择: Build --> Build Artifacts --> Build,然后耐心等待一会,在左侧会自动生成一个out的文件,点击: out —> artifacts —> xxx_ jar
即可查看是否打包成功
上传启动
-
打包后在Linux系统中找到 idea的工作地址 然后点击 Idea_workspace -->xxx–> out -->
artifacts -->xxx_jar 找到已打好的jar包 -
在该目录下,右击打开终端输入scp命名,将jar包上传至启动集群的Linux系统中"/opt/software/" 文件夹下 SCP
命名:scp xxx_Group.jar root@hadoop111:/opt/software/ -
执行zip命名对该包进行删除两个会使程序出错的文件 ZIP命名: zip -d xxx_Group.jar META-INF/.RSA
META-INF/.SF -
就在该目录下使用hadoop调用该包
hadoop jar Eight_Group.jar /zs/java/output/output8/part-r-00000 /zs/java/output/output8_Group
查看结果
执行结果,执行结果在集群中查看
查看位置为 hadoop调用jar包将数据源文件处理后的文件存放位置