Hadoop Wordcount案例用Java编写MapReduce

黑皮磊

已于 2022-04-09 18:25:41 修改

阅读量1.6k

点赞数 1

分类专栏： hadoop MR 文章标签： hadoop mapreduce

于 2022-03-30 02:10:36 首次发布

本文链接：https://blog.csdn.net/weixin_49539546/article/details/123836485

版权

本文介绍了如何在IDEA中创建Maven项目，编写MapReduce的Mapper、Reducer类，以及Driver类来运行Hadoop的Wordcount案例。还讨论了Combiner的作用，即减少数据网络传输，并提到了通过调整reduce数解决数据倾斜问题。

摘要由CSDN通过智能技术生成

1.Maven 本地环境搭建，请看上一篇文章

本地Maven环境配置

2.打开Ieda工具，新建Mavenpeoject

3.编写Mapper类

package WC;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
//import org.w3c.dom.Text;

import java.io.IOException;
import java.util.Locale;

public class MR_Mapper extends Mapper<LongWritable , Text,Text, IntWritable> {
       IntWritable ONE = new IntWritable(1);
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {
        System.out.println("----------Mapper.setup-----------");
    }




    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        System.out.println("----------Mapper.Map-----------");

        //获取数据转成小写
        final String line = value.toString().toLowerCase();

        //按照分隔符进行拆分
        final String[] splits =lin