在运行 Hadoop 作业时,遇到“No such file or directory”,如何在windows里打包在虚拟机里运行

        最近在学习Hadoop集群map reduce分布运算过程中,经多方面排查可能是电脑本身配置的原因导致每次运行都会报“No such file or directory”的错误,最后我是通过打包文件到虚拟机里运行得到结果,具体步骤如下:

        前提是要保证maven已经配置好了

下面就是如何打包文件的具体步骤:

  1. 在 Eclipse 中右键点击要打包的文件包,选择 “导出(Export)”

 

2.选择导出类型:在弹出的窗口中,选择 “JAR 文件(JAR file)”,点击 “下一步(Next)”

3. 在“JAR 导出” 界面,确认勾选 “导出生成的类文件和资源(Export generated class files and resources)”,设置 “JAR 文件(JAR file)” 路径(如 E:\test_maven.jar),点击 “完成(Finish)”,生成 JAR 包。

4.使用工具(如 Xftp)将生成的 JAR 包上传到集群节点(如 node01 的 /home/hadoop 目录)。

5.在集群终端(如 node01)输入命令:

hadoop jar <JAR 包路径> <主类全限定名>

例如:hadoop jar test_maven.jar com.test.hadoop.mr.log.model.WordCountJob,集群会运行 JAR 包中的 MapReduce 作业,输出相关统计信息(如日志中的计数器数据、Map/Reduce 阶段的记录数等)。

可以得到运行结果:

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值