MapReduce 简单数据清洗

最新推荐文章于 2024-06-24 19:36:47 发布

swx7410852963

最新推荐文章于 2024-06-24 19:36:47 发布

阅读量1.4k

点赞数

分类专栏： # Hadoop 脑图外链文章标签： mapreduce hadoop java

本文链接：https://blog.csdn.net/swx7410852963/article/details/122326941

版权

本文介绍了如何使用MapReduce进行简单的数据清洗，通过自定义Mapper类实现数据过滤，无需Reduce阶段。详细讲述了思路简介、输入数据处理、Maven和log4j配置以及数据输出的过程。

摘要由CSDN通过智能技术生成

思路简介

直接在Map阶段使用各种规则将数据进行过滤即可，不需使用Reduce阶段。

输入数据

Maven和log4j.properties配置

参考 MapReduce统计流量案例中的配置

自定义Mapper类实现(WebLogMapper)

package com.test.mapreduce.weblog;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class WebLogMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        // 1.获取每一行转换为字符串
        String line = value.