DataX - 全量数据同步工具_datax工具，2024年最新2024金九银十大数据开发大厂面试题来袭

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

• Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。一个 Job 启动一个进程。
• Task：根据不同数据源的切分策略，一个 Job 会被切分为多个 Task（由 Split 模块完成），Task 是 DataX 作业的最小单元，每个 Task 负责一部分数据的同步工作。
• TaskGroup：Scheduler 调度模块会对 Task 进行分组，每个 TaskGroup 负责启动 Task，单个 TaskGroup 的并发数量为 5（最多同时执行 5 个Task，一个 Task 执行完就会释放掉，再进来一个 Task 继续执行）。
• Reader -> Channel -> Writer ：每个 Task 启动后，都会固定启动 Reader -> Channel -> Writer 来完成同步工作。

举例来说，用户提交了一个 DataX 作业，并且配置了 20 个并发，目的是将一个 100 张分表的 mysql 数据同步到 odps 里面。 DataX 的调度决策思路是：

1. DataXJob 根据分库分表切分成了 100 个 Task。
2. 根据 20 个并发，DataX 计算共需要分配 4 个 TaskGroup。
3. 4 个 TaskGroup 平分切分好的 100 个 Task，每一个 TaskGroup 负责以 5 个并发共计运行 25 个 Task。

1.6、与 Sqoop 对比

2、DataX3.0 部署

傻瓜式安装解压，然后执行下面的脚本

python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

运行结果：

当出现上面的结果说明安装成功，这里我们用的是 DataX 自带的一个测试作业，它是一个 json 格式的文件，之后我们的 DataX 作业也是通过自己 编写 json 文件来实现。

3、DataX 的使用

3.1、DataX 任务提交命令

DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可，就像我们安装时测试执行 DataX 任务的操作一样：

python /opt/module/datax/bin/datax.py /opt/module/datax/job/job.json

3.2、DataX 配置文件格式

可以通过下面这个命令来查看 DataX 配置文件模板：

# -r 代表 reader -w 代表 writer
python bin/datax.py -r mysqlreader -w hdfswriter

配置文件模板如下，json最外层是一个job，job包含setting和content两部分，其中setting用于对整个job进行配置，content用户配置数据源和目的地。

Reader和Writer的具体参数可参考官方文档，地址：

https://github.com/alibaba/DataX/blob/master/README.md

所以，如果我们需要自定义 DataX 任务的时候，就需要打开官网的 reader 和 writer 文档，查看需要配置哪些参数，接下来我们就来练习一下：

4、使用案例

4.1、MySQL -> HDFS

从 MySQL 写入到 HDFS ，我们就需要去官网查看 MySQLReader 和 HDFSWriter 的内容：

简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。

对于用户配置Table、Column、Where的信息，MysqlReader将其拼接为SQL语句发送到Mysql数据库；对于用户配置querySql信息，MysqlReader直接将其发送到Mysql数据库。

****案例要求：****同步 gmall 数据库中 base_province 表数据到 HDFS 的 /base_province 目录

****需求分析：****要实现该功能，需选用 MySQLReader 和 HDFSWriter，MySQLReader 具有两种模式分别是TableMode和QuerySQLMode，前者使用table，column，where等属性声明需要同步的数据；后者使用一条SQL查询语句声明需要同步的数据。

下面分别使用两种模式进行演示：

4.1.1、MySQLReader & TableMode

1）编写配置文件

vim /opt/module/datax/job/base_province.json

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": [
                            "id",
                            "name",
                            "region_id",
                            "area_code",
                            "iso_code",
                            "iso_3166_2"
                        ],
                        "where": "id>=3",
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "table": [
                                    "base_province"
                                ]
                            }
                        ],
                        "password": "123456",
                        "splitPk": "",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

2）配置说明

1. Reader 参数说明

**注意：**这里的 splitPk 参数是数据分片字段，一般是主键，仅支持整型 ，而且只有 TableMode 模式下才有效。

2. Writer 参数说明

我们的 hdfswriter 中有一个 column 参数，但是我们知道 HDFS 是没有列的这个概念的。其实，这里代表的是我们Hive表中数据的字段类型，这个配置参数是给 Hive 看的。之后我们在使用 hdfsreader 的时候 依然要配置这个参数，这个参数的意义仍然是 hive 的数据字段。

**注意：**这里的 fileName 参数指的是 HDFS 前缀名而并不是完整文件名！

3）提交任务

使用DataX向HDFS同步数据时，必须确保目标路径已存在！

hadoop fs -mkdir /base_province

python bin/datax.py job/base_province.json

执行结果：

 可以看到，我们的文件名是由我们 hdfswriter 中指定的前缀 fileName + uuid 组成的。

查看HDFS 中的文件内容（因为我们的文件是经过 gzip 压缩的，所以网页端查看不了）：

hadoop fs -cat /base_province/* | zcat

可以看到，MySQL 中 34 条数据一共写入了 32 条，这是因为我们设置了 where 参数的值为 id>=3

4.1.2、MySQLReader & QuerySQLMode

1）配置文件

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": [
                                    "jdbc:mysql://hadoop102:3306/gmall"
                                ],
                                "querySql": [
                                    "select id,name,region_id,area_code,iso_code,iso_3166_2 from base_province where id>=3"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root"
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
                            {
                                "name": "id",
                                "type": "bigint"
                            },
                            {
                                "name": "name",
                                "type": "string"
                            },
                            {
                                "name": "region_id",
                                "type": "string"
                            },
                            {
                                "name": "area_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_code",
                                "type": "string"
                            },
                            {
                                "name": "iso_3166_2",
                                "type": "string"
                            }
                        ],
                        "compress": "gzip",
                        "defaultFS": "hdfs://hadoop102:8020",
                        "fieldDelimiter": "\t",
                        "fileName": "base_province",
                        "fileType": "text",
                        "path": "/base_province",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

可以看到，TableMode 的 mysqlreader 中是通过在 connection 参数设置 table 参数的值来指定我们的表，而这里 QuerySQLMode 模式是通过 querySql 参数来指定 SQL ，从SQL中可以得到表名。此外，QuerySQLMode 模式没有 columns 和 where 参数，因为这些都可以在 SQL 中指定。

那 TableMode 和 QuerySQLMode 有什么区别呢？其实 QuerySQLMode 正因为它可以指定 SQL ，所以就更加灵活，我们可以使用复杂的 join 和聚合函数，这一点是 TableMode 所实现不了的。反过来，我们上面知道 TableMode 的配置文件中可以在 mysqlreader 中指定一个参数 splitPk 来开启多个 Task 去读取一张表，这一点同样是 QuerySQLMode 所不具备的，QuerySQLMode 只支持单个 Task。

QuerySQLMode 这种模式用的还是比较少的，毕竟我们的 Hive 也可以完成数据的聚合和联结。

此外，关于 hdfswriter 还有一些注意事项：

注意事项：

HFDS Writer并未提供nullFormat参数：也就是用户并不能自定义null值写到HFDS文件中的存储格式。默认情况下，HFDS Writer会将null值存储为空字符串（‘’），而Hive默认的null值存储格式为\N。所以后期将DataX同步的文件导入Hive表就会出现问题。

解决该问题的方案有两个：

一是修改DataX HDFS Writer的源码，增加自定义null值存储格式的逻辑（也就是如果读取到 null 就把它替换为 “\N”，双斜杠是因为 DataX 是 Java 写的），可参考这里。

二是在Hive中建表时指定null值存储格式为空字符串（‘’"）

2）配置文件说明

mysqlreader：

​

hdfswriter 和上面的是一样的。

3）提交任务

结果和上面是一样的，这里不再演示。

4.1.3、DataX 传参

通常情况下，离线数据同步任务需要每日定时重复执行（就像我们之前 flume 上传到 HDFS 也指定过），故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中 HDFS Writer 的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。

1）修改配置文件

DataX传参的用法如下，在JSON配置文件中使用${param}引用参数，在提交任务时使用-p"-Dparam=value"传入参数值，我们只需要修改 hdfswriter 下 parameter 参数下的 path 为：

"path": "/base\_province/${dt}"

2）创建 hdfs 路径

 hadoop fs -mkdir /base_province/2020-06-14

3）提交任务

python bin/datax.py -p"-Ddt=2020-06-14" job/base_province.json

4.2、HDFS -> MySQL

****案例要求：****同步HDFS上的/base_province目录下的数据到 MySQL gmall 数据库下的 test_province表。

****需求分析：****要实现该功能，需选用 HDFSReader 和 MySQLWriter。

****1）****编写配置文件

vim test_province.json

{
    "job": {
        "content": [


**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
![img](https://img-blog.csdnimg.cn/img_convert/5b767fbc646e4c692ad1c6e038b96324.png)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

数据到 MySQL gmall 数据库下的 test\_province表。


****需求分析：****要实现该功能，需选用 HDFSReader 和 MySQLWriter。


#### ****1）********编写配置文件****

vim test_province.json

{
“job”: {
“content”: [

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-Qo8jkZya-1713279276989)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！