IDEA本地运行hadoop程序成功,集群运行找不到自定义的Mapper类

错误如下:

解决方案是在主类JobMain中添加如下:

 job.setJarByClass(JobMain.class);

然后再生成jar包运行即可!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
很抱歉,我作为一个语言模型,无法与您进行实际的编程交互,但是我可以提供一些思路和建议。 首先,您需要安装Hadoop和Java环境,并且熟悉Hadoop的相关操作。 然后,您可以使用Java编写一个Driver,用于提交作业到Hadoop集群运行。具体步骤如下: 1. 创建一个配置对象,用于连接到Hadoop集群: ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "localhost:8032"); ``` 2. 创建一个Job对象,用于描述作业的输入输出和处理逻辑: ```java Job job = Job.getInstance(conf, "MyJob"); job.setJarByClass(Driver.class); job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); FileInputFormat.setInputPaths(job, new Path("input")); FileOutputFormat.setOutputPath(job, new Path("output")); job.setMapperClass(MyMapper.class); job.setReducerClass(MyReducer.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); ``` 3. 提交作业并等待完成: ```java if (job.waitForCompletion(true)) { System.out.println("Job completed successfully!"); } else { System.out.println("Job failed!"); } ``` 注意,上述代码的`MyMapper`和`MyReducer`应该是您自己编写的Mapper和Reducer,用于实现具体的数据处理逻辑。 最后,您可以使用IDEA等集成开发环境编写和调试这个Driver,并将其打包成一个可执行的JAR文件。然后在命令行使用`hadoop jar`命令提交作业即可。 当然,上述代码仅为示例,具体实现还需要根据您的具体需求进行调整。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值