使用MapReduce做数据清洗（ETL）

最新推荐文章于 2024-06-24 19:36:47 发布

勤奋的ls丶

最新推荐文章于 2024-06-24 19:36:47 发布

阅读量2k

点赞数

分类专栏： Hadoop 文章标签： etl mapreduce 数据仓库

本文链接：https://blog.csdn.net/lslslslslss/article/details/121975310

版权

Hadoop 专栏收录该内容

22 篇文章 2 订阅

订阅专栏

本文介绍了如何使用MapReduce技术中的WebLogMapper类，通过编写Mapper程序来过滤日志数据，只保留字段长度大于11的部分。具体展示了如何编写Mapper和Driver类，并设置Job配置以完成数据清洗任务。

摘要由CSDN通过智能技术生成

“ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（Extract）、转换（Transform）、加载（Load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库

在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。

实例：去除日志中字段个数小于等于11的日志。

（1）编写WebLogMapper类

/**
 * @author LS
 * @date 2021/12/15 18:44
 * @description
 */
public class WebLogMapper extends Mapper<LongWritable,Text,Text,NullWritable> {
    //private Text outK = new Text();
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String string = value.toString();
        String[] split = string.split(" ");
        if (split.length>11){
            context.write(value,NullWritable.get());
        }
    }
}

（2）编写WebLogDriver类

/**
 * @author LS
 * @date 2021/12/15 18:45
 * @description
 */
public class WebLogDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(WebLogDriver.class);
        job.setMapperClass(WebLogMapper.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputKeyClass(NullWritable.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        job.setNumReduceTasks(0);

        FileInputFormat.setInputPaths(job,new Path("F:\\web.log"));
        FileOutputFormat.setOutputPath(job,new Path("F:\\etl"));

        job.waitForCompletion(true);
    }
}