Eclipse打包mapreduce程序并提交至hadoop集群运行

本文讲述了在Eclipse中打包MapReduce程序遇到的问题及解决过程,包括UnsupportedClassVersionError错误、ResourceManager连接问题以及输入输出路径的设定。最终成功将程序提交至Hadoop集群运行。
摘要由CSDN通过智能技术生成

在命令行里能够将程序运行在hadoop集群环境后,将Eclipse里的各种配置也相应配好,点击run on hadoop。

作业成功运行,hdfs上能够看到结果,但是仍然,没有提交至真正的集群环境。

查了好久资料,直接在代码中指定远程jobtracker地址,仍然未果。

于是在Eclipse里调试程序,运行成功后打成jar包上传至hadoop集群中运行:

直接export,保证jar文件的META-INF/MANIFEST.MF文件中存在Main-Class映射:

Main-Class: WordCount

其实直接next自动文件里就有这个关系。

将打好的jar上传至服务器,假设在/opt目录下,则命令:

hadoop jar /opt/myWordCount.jar WordCount /test_in /output12

报错:

xception in thread "main" java.lang.UnsupportedClassVersionError: WordCount : Unsupported major.minor version 52.0
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值