MapReduce中ETL数据清洗案例

最新推荐文章于 2024-06-24 19:36:47 发布

QYHuiiQ

最新推荐文章于 2024-06-24 19:36:47 发布

阅读量845

点赞数

分类专栏：大数据之Hadoop 文章标签： etl 大数据数据仓库 hadoop

本文链接：https://blog.csdn.net/qyhuiiq/article/details/126110108

版权

大数据之Hadoop 专栏收录该内容

58 篇文章 0 订阅 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文通过一个MapReduce案例展示了如何在大数据处理中进行ETL数据清洗。在Hadoop环境中，针对员工表数据，仅保留部门编号为'd01'的记录，整个清洗过程只需map阶段，成功过滤无效数据。

摘要由CSDN通过智能技术生成

在实际业务场景中，我们在对数据处理时会先对数据进行清洗，比如过滤掉一些无效数据；清洗数据只需要map阶段即可，不需要reduce阶段。

在该案例中我们要实现的是员工表数据中只留下部门编号为d01的数据。

数据准备

001,Tina,d03
002,Sherry,d01
003,Bob,d01
004,Sam,d02
005,Mohan,d01
006,Tom,d03

新建project：

引入pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>wyh.test</groupId>
    <artifactId>TestETL<

了解本专栏