在虚拟机上,将编写的MapReduce程序打包并上传,启动集群的Linux系统中

概要

在虚拟机上,将编写的MapReduce程序打包并上传,启动集群的Linux系统中

打包

Idea中打包 java程序的步骤:

1.File --> Project Structure --> Artifacts --> + -->JAR --> From modules with dependencies
随后在Main Class中选择driver

在这里插入图片描述

2.选择: Build --> Build Artifacts --> Build,然后耐心等待一会,在左侧会自动生成一个out的文件,点击: out —> artifacts —> xxx_ jar
即可查看是否打包成功

上传启动

  • 打包后在Linux系统中找到 idea的工作地址 然后点击 Idea_workspace -->xxx–> out -->
    artifacts -->xxx_jar 找到已打好的jar包

  • 在该目录下,右击打开终端输入scp命名,将jar包上传至启动集群的Linux系统中"/opt/software/" 文件夹下 SCP
    命名:scp xxx_Group.jar root@hadoop111:/opt/software/

  • 执行zip命名对该包进行删除两个会使程序出错的文件 ZIP命名: zip -d xxx_Group.jar META-INF/.RSA
    META-INF/.SF

  • 就在该目录下使用hadoop调用该包
    hadoop jar Eight_Group.jar /zs/java/output/output8/part-r-00000 /zs/java/output/output8_Group

查看结果

执行结果,执行结果在集群中查看
查看位置为 hadoop调用jar包将数据源文件处理后的文件存放位置
请添加图片描述

  • 3
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值