数据清洗--简单解析版（ETL）与复杂解析版

最新推荐文章于 2024-08-14 16:11:07 发布
最新推荐文章于 2024-08-14 16:11:07 发布
阅读量955 收藏 1
点赞数 1
分类专栏： hadoop技术【初学】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/103329109
版权

计数器应用

上节：Join多种应用
在这里插入图片描述

数据清洗（ETL）

在运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。

数据清洗案例实操-简单解析版
1．需求
去除日志中字段长度小于等于11的日志。
（1）输入数据
在这里插入图片描述
（2）期望输出数据
每行字段长度都大于11。

2．需求分析
需要在Map阶段对输入的数据根据规则进行过滤清洗。

代码实操：

在这里插入图片描述

ETLMapper.java

package com.study.etl;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class ETLMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String[] fields = value.toString().split(" ");

        if (fields.length > 11) {
            context.write(value, NullWritable.get());
            context.getCounter("ETL", "True").increment(1);
        } else {
            context.getCounter("ETL", "False").increment(1);
        }

    }
}

ETLDriver.java

package com.study.etl;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class ETLDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Job job = Job.getInstance(new Configuration());

        job.setJarByClass(ETLDriver.class);

        job.setMapperClass(ETLMapper.class);

        job.setNumReduceTasks(0);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job, new Path("d:\\input"));
        FileOutputFormat.setOutputPath(job, new Path("d:\\output"));

        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

运行程序之前，我们需要创建数据清洗的数据
自己是在d盘的input文件，提供数据清晰的数据如下：
在这里插入图片描述

194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)"
183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-" 400 0 "-" "-"
163.177.71.12 - - [18/Sep/2013:06:49:33 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
163.177.71.12 - - [18/Sep/2013:06:49:36 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
101.226.68.137 - - [18/Sep/2013:06:49:42 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
101.226.68.137 - - [18/Sep/2013:06:49:45 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
60.208.6.156 - - [18/Sep/2013:06:49:48 +0000] "GET /wp-content/uploads/2013/07/rcassandra.png HTTP/1.0" 200 185524 "http://cos.name/category/software/packages/" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"
222.68.172.190 - - [18/Sep/2013:06:49:57 +0000] "GET /images/my.jpg HTTP/1.1" 200 19939 "http://www.angularjs.cn/A00n" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"
222.68.172.190 - - [18/Sep/2013:06:50:08 +0000] "-" 400 0 "-" "-"
183.195.232.138 - - [18/Sep/2013:06:50:16 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
183.195.232.138 - - [18/Sep/2013:06:50:16 +0000] "HEAD / HTTP/1.1" 200 20 "-" "DNSPod-Monitor/1.0"
66.249.66.84 - - [18/Sep/2013:06:50:28 +0000] "GET /page/6/ HTTP/1.1" 200 27777 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
221.130.41.168 - - [18/Sep/2013:06:50:37 +0000] "GET /feed/ HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36"
157.55.35.40 - - [18/Sep/2013:06:51:13 +0000] "GET /robots.txt HTTP/1.1" 200 150 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
50.116.27.194 - - [18/Sep/2013:06:51:35 +0000] "POST /wp-cron.php?doing_wp_cron=1379487095.2510800361633300781250 HTTP/1.0" 200 0 "-" "WordPress/3.6; http://blog.fens.me"
58.215.204.118 - - [18/Sep/2013:06:51:35 +0000] "GET /nodejs-socketio-chat/ HTTP/1.1" 200 10818 "http://www.google.com/url?sa=t&rct=j&q=nodejs%20%E5%BC%82%E6%AD%A5%E5%B9%BF%E6%92%AD&source=web&cd=1&cad=rja&ved=0CCgQFjAA&url=%68%74%74%70%3a%2f%2f%62%6c%6f%67%2e%66%65%6e%73%2e%6d%65%2f%6e%6f%64%65%6a%73%2d%73%6f%63%6b%65%74%69%6f%2d%63%68%61%74%2f&ei=rko5UrylAefOiAe7_IGQBw&usg=AFQjCNG6YWoZsJ_bSj8kTnMHcH51hYQkAA&bvm=bv.52288139,d.aGc" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0"
58.215.204.118 - - [18/Sep/2013:06:51:36 +0000] "GET /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1 HTTP/1.1" 304 0 "http://blog.fens.me/nodejs-socketio-chat/" "Mozilla/5.0 (Windows NT 5.1; rv:23.0) Gecko/20100101 Firefox/23.0"
.........
.........

运行程序后，生成文件
在这里插入图片描述
在这里插入图片描述

数据清洗案例实操-复杂解析版

1．需求
对Web访问日志中的各字段识别切分，去除日志中不合法的记录。根据清洗规则，输出过滤后的数据。
（1）输入数据
在这里插入图片描述
（2）期望输出数据
都是合法的数据

实现代码
在这里插入图片描述

LogBean.java

package com.study.etlcomplex;

public class LogBean {
    private String remote_addr;// 记录客户端的ip地址
    private String remote_user;// 记录客户端用户名称,忽略属性"-"
    private String time_local;// 记录访问时间与时区
    private String request;// 记录请求的url与http协议
    private String status;// 记录请求状态；成功是200
    private String body_bytes_sent;// 记录发送给客户端文件主体内容大小
    private String http_referer;// 用来记录从那个页面链接访问过来的
    private String http_user_agent;// 记录客户浏览器的相关信息

    private boolean valid = true;// 判断数据是否合法

    @Override
    public String toString() {

        StringBuilder sb = new StringBuilder();
        sb.append(this.valid);
        sb.append("\001").append(this.remote_addr);
        sb.append("\001").append(this.remote_user);
        sb.append("\001").append(this.time_local);
        sb.append("\001").append(this.request);
        sb.append("\001").append(this.status);
        sb.append("\001").append(this.body_bytes_sent);
        sb.append("\001").append(this.http_referer);
        sb.append("\001").append(this.http_user_agent);

        return sb.toString();
    }

    public String getRemote_addr() {
        return remote_addr;
    }

    public void setRemote_addr(String remote_addr) {
        this.remote_addr = remote_addr;
    }

    public String getRemote_user() {
        return remote_user;
    }

    public void setRemote_user(String remote_user) {
        this.remote_user = remote_user;
    }

    public String getTime_local() {
        return time_local;
    }

    public void setTime_local(String time_local) {
        this.time_local = time_local;
    }

    public String getRequest() {
        return request;
    }

    public void setRequest(String request) {
        this.request = request;
    }

    public String getStatus() {
        return status;
    }

    public void setStatus(String status) {
        this.status = status;
    }

    public String getBody_bytes_sent() {
        return body_bytes_sent;
    }

    public void setBody_bytes_sent(String body_bytes_sent) {
        this.body_bytes_sent = body_bytes_sent;
    }

    public String getHttp_referer() {
        return http_referer;
    }

    public void setHttp_referer(String http_referer) {
        this.http_referer = http_referer;
    }

    public String getHttp_user_agent() {
        return http_user_agent;
    }

    public void setHttp_user_agent(String http_user_agent) {
        this.http_user_agent = http_user_agent;
    }

    public boolean isValid() {
        return valid;
    }

    public void setValid(boolean valid) {
        this.valid = valid;
    }
}

LogMapper.java

package com.study.etlcomplex;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;

public class LogMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    private LogBean logBean = new LogBean();
    private Text k = new Text();

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        String line = value.toString();

        parseLog(line);

        if (logBean.isValid()) {
            k.set(logBean.toString());
            context.write(k, NullWritable.get());
            context.getCounter("ETL", "True").increment(1);
        } else {
            context.getCounter("ETL", "False").increment(1);
        }
    }

    private void parseLog(String line) {
        String[] fields = line.split(" ");

        if (fields.length > 11) {

            // 2封装数据
            logBean.setRemote_addr(fields[0]);
            logBean.setRemote_user(fields[1]);
            logBean.setTime_local(fields[3].substring(1));
            logBean.setRequest(fields[6]);
            logBean.setStatus(fields[8]);
            logBean.setBody_bytes_sent(fields[9]);
            logBean.setHttp_referer(fields[10]);

            if (fields.length > 12) {
                logBean.setHttp_user_agent(fields[11] + " "+ fields[12]);
            }else {
                logBean.setHttp_user_agent(fields[11]);
            }

            // 大于400，HTTP错误
            if (Integer.parseInt(logBean.getStatus()) >= 400) {
                logBean.setValid(false);
            } else {
                logBean.setValid(true);
            }
        }else {
            logBean.setValid(false);
        }

    }
    }

LogDriver.java

package com.study.etlcomplex;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;

public class LogDriver {
    public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Job job = Job.getInstance(new Configuration());

        job.setJarByClass(LogDriver.class);

        job.setMapperClass(LogMapper.class);

        job.setNumReduceTasks(0);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job, new Path("d:\\input"));
        FileOutputFormat.setOutputPath(job, new Path("d:\\output"));

        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

启动程序后，数据清洗效果如图所示：
在这里插入图片描述

江湖侠客
关注
专栏目录
数据清洗（ETL）
asd623444055的博客
03-11 1765
运行核心业务MapReduce程序之前，往往要先对数据进行清洗，清理掉不符合用户要求的数据。清理的过程往往只需要运行Mapper程序，不需要运行Reduce程序。 1．需求 去除日志中字段个数小于等于11的日志。 （1）期望输出数据 每行字段长度都大于11。 2．需求分析 需要在Map阶段对输入的数据根据规则进行过滤清洗。 3．实现代码 （1）编写Mapper类 package com.etl; import org.apache.hadoop.io.LongWritable;
数据清洗_ETL工具（Kettle）
ILen的博客
12-02 3804
一、六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate) 二、Kettle下载和安装 Kettle简介：Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration，Kettle 本意是水壶的意思，表达了数据流的含义。K...
ETL数据清洗（每行字段大于11）
weixin_56765170的博客
05-27 374
2）需求分析 需要在Map阶段对输入的数据根据规则进行过滤清洗。 3）实现代码 （1）编写LogMapper类 package com.atguigu.mapreduce.weblog; import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import
Java爬虫中的数据清洗：去除无效信息的技巧
最新发布
Z_suger7的博客
08-14 1009
在互联网信息爆炸的时代，数据的获取变得异常容易，但随之而来的是数据质量的问题。对于Java爬虫开发者来说，如何从海量的网页数据中清洗出有价值的信息，是一个既基础又关键的步骤。本文将介绍Java爬虫中数据清洗的重要性，常见的无效信息类型，以及几种去除无效信息的技巧和实现代码。
datax-web-2.1.2，大数据、etl工具、数据抽取
12-28
《DataX Web 2.1.2：大数据ETL利器详解》 ...无论是简单的一次性数据迁移，还是复杂的数据同步任务，都能游刃有余地应对。随着大数据技术的不断发展，DataX Web将持续迭代更新，为企业数据治理提供更加强大的支持。
ETL工具 Kettle用户手册中文版.zip
07-05
**ETL工具 Kettle 用户手册中文版** Kettle（Pentaho Data Integration，简称Kettle）是一款强大的数据集成工具，广泛应用于数据抽取（Extract）、转换（Transform）和加载（Load，即ETL过程）。它提供了图形化的...
数据预处理1--ETL和数据清洗
qiaoqiaomanman的博客
03-04 8250
数据预处理学习1–ETL和数据清洗 第一个问题，什么是数据预处理？ 数据预处理，英文全称是：data preprocessing，顾名思义就是指在进行对主要的数据进行处理以前对数据进行的一些处理 数据预处理分为： 缺失值处理、异常值处理、特征缩放、数值离散化和不平衡数据处理 数据预处理的重要性： 在数据挖掘过程中，数据预处理是不可或缺的部分。 大数据应用中数据的典型特点是独立的、不完整、含噪声和不...
lp-etl-components:LinkedPipes ETL的Opendata.cz特定组件
05-17
3. **数据清洗组件**：处理缺失值、异常值，以及进行数据标准化和规范化。 4. **数据解析组件**：解析 Opendata.cz 特有的数据结构，如元数据信息或特定的编码方式。 5. **数据加载组件**：将处理后的数据保存到本地...
数据库清洗产品ETL工具
09-11
针对同一种数据库，使用通用的接口(如ODBC/JDBC)还是原厂商自己的专用接口，数据抽取效率会有很大差别，这直接关系到能不能在有限的时间内完成。(如oracle的jdbc连接方式:oci和thin的选择) ETL任务支持多种数据源: 支持多种数据库Oracle,DB2,SQLServer, MySQL,SqlServer,Informix等。能 支持ODBC数据源，支持JNDI数据源，支持共享应用服务器数据源。 支持文本数据，支持将Excel，txt文件，csv，XML文件等文件型的数据直接作为数据源;
数据清洗mindnode原图
08-25
数据清洗的mindnode原图
NodeEtl:nodeJS中的简单ETL
05-13
NodeEtl nodeJS中的简单ETL，允许您将csv文件推送到SQL Server。 只需更改您特定的Mssql数据库的配置文件
node-etl:将Singer水龙头的力量带入Node.js
04-09
节点精灵 将Singer水龙头的力量带入Nodejs。
ETL数据清洗概述
weixin_40296186的博客
07-17 2133
数据清洗
【大数据之Hadoop】十七、MapReduce之数据清洗ETL
阿宁的博客
04-21 2171
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将分散、零乱、标准不统一的数据整合到一起，为决策提供分析依据。ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。
大数据清洗、转换工具——ETL工具概述
阿拉伯梳子的专栏
11-15 2293
ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL过程本质上是数据流动的过程，从不同的数据源流向不同的目标数据。
大数据框架之Hadoop：MapReduce（三）MapReduce框架原理——数据清洗（ETL）
yiluohan0307的专栏
02-28 1741
数据清洗（ETL）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值