MapReduce中map方法write写入参数类型和reduce类型不同

最新推荐文章于 2021-10-22 11:39:41 发布

沐雨金鳞

最新推荐文章于 2021-10-22 11:39:41 发布

阅读量2.6k

点赞数

分类专栏：大数据大数据文章标签： MapReduce中map方法write写入参数类型和red

本文链接：https://blog.csdn.net/qq_38262266/article/details/79188487

版权

大数据同时被 2 个专栏收录

50 篇文章 0 订阅

订阅专栏

大数据

32 篇文章 3 订阅

订阅专栏

当map方法中context.write()和reduce方法中context.write()输入参数类型不相同时：
需要在job中设置每个方法的参数类型：

map中：
context.write(MyNewKey,NullWritable);

reduce中：
context.write(LongWritable,LongWritable);

那么进行如下设置即可：
        job.setMapOutputKeyClass(MyNewKey.class);
        job.setMapOutputValueClass(NullWritable.class);

        job.setOutputKeyClass(LongWritable.class);
        job.setOutputValueClass(LongWritable.class);