Java最全使用 DataX 实现数据同步（高效的数据同步工具），阿里java社招面试

最新推荐文章于 2024-06-09 23:57:58 发布

2401_84584763

最新推荐文章于 2024-06-09 23:57:58 发布

阅读量1.6k

点赞数 16

分类专栏：程序员文章标签： java 面试学习

本文链接：https://blog.csdn.net/2401_84584763/article/details/138677246

版权

程序员专栏收录该内容

121 篇文章 0 订阅

订阅专栏

总结

总的来说，面试是有套路的，一面基础，二面架构，三面个人。

最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友

三面蚂蚁金服成功拿到offer后，他说他累了

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

后面在网上查看后，发现 DataX 这个工具用来同步不仅速度快，而且同步的数据量基本上也相差无几。

一、DataX 简介

=============================================================================

DataX 是阿里云 DataWorks 数据集成的开源版本，主要就是用于实现数据间的离线同步。 DataX 致力于实现包括关系型数据库（MySQL、Oracle 等）、HDFS、Hive、ODPS、HBase、FTP 等 各种异构数据源（即不同的数据库） 间稳定高效的数据同步功能。

在这里插入图片描述

为了 解决异构数据源同步问题，DataX 将复杂的网状同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源；
当需要接入一个新的数据源时，只需要将此数据源对接到 DataX，便能跟已有的数据源作为无缝数据同步。

1.DataX3.0 框架设计

DataX 采用 Framework + Plugin 架构，将数据源读取和写入抽象称为 Reader/Writer 插件，纳入到整个同步框架中。

在这里插入图片描述

| 角色 | 作用 |

| :-- | :-- |

| Reader（采集模块） | 负责采集数据源的数据，将数据发送给 Framework。 |

| Writer（写入模块） | 负责不断向 Framework 中取数据，并将数据写入到目的端。 |

| Framework（中间商） | 负责连接 Reader 和 Writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。 |

2.DataX3.0 核心架构

DataX 完成单个数据同步的作业，我们称为 Job，DataX 接收到一个 Job 后，将启动一个进程来完成整个作业同步过程。DataX Job 模块是单个作业的中枢管理节点，承担了数据清理、子任务切分、TaskGroup 管理等功能。

在这里插入图片描述

DataX Job 启动后，会根据不同源端的切分策略，将 Job 切分成多个小的 Task (子任务)，以便于并发执行。
接着 DataX Job 会调用 Scheduler 模块，根据配置的并发数量，将拆分成的 Task 重新组合，组装成 TaskGroup（任务组）
每一个 Task 都由 TaskGroup 负责启动，Task 启动后，会固定启动 Reader --> Channel --> Writer 线程来完成任务同步工作。
DataX 作业运行启动后，Job 会对 TaskGroup 进行监控操作，等待所有 TaskGroup 完成后，Job 便会成功退出（异常退出时 值非 0）

DataX 调度过程：

首先 DataX Job 模块会根据分库分表切分成若干个 Task，然后根据用户配置并发数，来计算需要分配多少个 TaskGroup；
计算过程：Task / Channel = TaskGroup，最后由 TaskGroup 根据分配好的并发数来运行 Task（任务）

二、使用 DataX 实现数据同步

====================================================================================

准备工作：

JDK（1.8 以上，推荐 1.8）
Python（2，3 版本都可以）
Apache Maven 3.x（Compile DataX）（手动打包使用，使用 tar 包方式不需要安装）

| 主机名 | 操作系统 | IP 地址 | 软件包 |

| :-- | :-- | :-- | :-- |

安装 JDK：下载地址（需要创建 Oracle 账号）

[root@MySQL-1 ~]# ls

anaconda-ks.cfg jdk-8u181-linux-x64.tar.gz

[root@MySQL-1 ~]# tar zxf jdk-8u181-linux-x64.tar.gz

[root@DataX ~]# ls

anaconda-ks.cfg jdk1.8.0_181 jdk-8u181-linux-x64.tar.gz

[root@MySQL-1 ~]# mv jdk1.8.0_181 /usr/local/java

[root@MySQL-1 ~]# cat <> /etc/profile

export JAVA_HOME=/usr/local/java

export PATH= $P A T H : "$ JAVA_HOME/bin"

END

[root@MySQL-1 ~]# source /etc/profile

[root@MySQL-1 ~]# java -version

因为 CentOS 7 上自带 Python 2.7 的软件包，所以不需要进行安装。

1.Linux 上安装 DataX 软件

[root@MySQL-1 ~]# wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

[root@MySQL-1 ~]# tar zxf datax.tar.gz -C /usr/local/

[root@MySQL-1 ~]# rm -rf /usr/local/datax/plugin//._ # 需要删除隐藏文件 (重要)

当未删除时，可能会输出：[/usr/local/datax/plugin/reader/._drdsreader/plugin.json] 不存在. 请检查您的配置文件.

验证：

[root@MySQL-1 ~]# cd /usr/local/datax/bin

[root@MySQL-1 ~]# python datax.py …/job/job.json # 用来验证是否安装成功

输出：

2021-12-13 19:26:28.828 [job-0] INFO JobContainer - PerfTrace not enable!

2021-12-13 19:26:28.829 [job-0] INFO JobContainer -

任务启动时刻 : 2021-12-13 19:26:18

任务结束时刻 : 2021-12-13 19:26:28

任务总计耗时 : 10s

任务平均流量 : 253.91KB/s

记录写入速度 : 10000rec/s

读出记录总数 : 100000

读写失败总数 : 0

2.DataX 基本使用

查看 streamreader --> streamwriter 的模板：

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r streamreader -w streamwriter

输出：

DataX (DATAX-OPENSOURCE-3.0), From Alibaba !

Please refer to the streamreader document:

https://github.com/alibaba/DataX/blob/master/streamreader/doc/streamreader.md

Please refer to the streamwriter document:

https://github.com/alibaba/DataX/blob/master/streamwriter/doc/streamwriter.md

Please save the following configuration as a json file and use

python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json

to run the job.

{

“job”: {

“content”: [

{

“reader”: {

“name”: “streamreader”,

“parameter”: {

“column”: [],

“sliceRecordCount”: “”

}

“writer”: {

“name”: “streamwriter”,

“parameter”: {

“encoding”: “”,

“print”: true

}

“setting”: {

“speed”: {

“channel”: “”

}

根据模板编写 json 文件

[root@MySQL-1 ~]# cat < test.json

{

“job”: {

“content”: [

{

“reader”: {

“name”: “streamreader”,

“parameter”: {

“column”: [ # 同步的列名 (* 表示所有)

{

“type”:“string”,

“value”:“Hello.”

{

“type”:“string”,

“value”:“河北彭于晏”

“sliceRecordCount”: “3” # 打印数量

}

“writer”: {

“name”: “streamwriter”,

“parameter”: {

“encoding”: “utf-8”, # 编码

“print”: true

}

“setting”: {

“speed”: {

“channel”: “2” # 并发 (即 sliceRecordCount * channel = 结果)

}

输出：（要是复制我上面的话，需要把 # 带的内容去掉）

在这里插入图片描述

3.安装 MySQL 数据库

分别在两台主机上安装：

[root@MySQL-1 ~]# yum -y install mariadb mariadb-server mariadb-libs mariadb-devel

[root@MySQL-1 ~]# systemctl start mariadb # 安装 MariaDB 数据库

[root@MySQL-1 ~]# mysql_secure_installation # 初始化

NOTE: RUNNING ALL PARTS OF THIS SCRIPT IS RECOMMENDED FOR ALL MariaDB

SERVERS IN PRODUCTION USE! PLEASE READ EACH STEP CAREFULLY!

Enter current password for root (enter for none): # 直接回车

OK, successfully used password, moving on…

Set root password? [Y/n] y # 配置 root 密码

New password:

Re-enter new password:

Password updated successfully!

Reloading privilege tables…

… Success!

Remove anonymous users? [Y/n] y # 移除匿名用户

… skipping.

Disallow root login remotely? [Y/n] n # 允许 root 远程登录

… skipping.

Remove test database and access to it? [Y/n] y # 移除测试数据库

… skipping.

Reload privilege tables now? [Y/n] y # 重新加载表

… Success!

1）准备同步数据（要同步的两台主机都要有这个表）

MariaDB [(none)]> create database course-study;

Query OK, 1 row affected (0.00 sec)

MariaDB [(none)]> create table course-study.t_member(ID int,Name varchar(20),Email varchar(30));

Query OK, 0 rows affected (0.00 sec)

在这里插入图片描述

因为是使用 DataX 程序进行同步的，所以需要在双方的数据库上开放权限：

grant all privileges on . to root@‘%’ identified by ‘123123’;

flush privileges;

2）创建存储过程：

DELIMITER $$

CREATE PROCEDURE test()

BEGIN

declare A int default 1;

while (A < 3000000)do

insert into course-study.t_member values(A,concat(“LiSa”,A),concat(“LiSa”,A,“@163.com”));

set A = A + 1;

END while;

END $$

DELIMITER ;

在这里插入图片描述

3）调用存储过程（在数据源配置，验证同步使用）：

call test();

4.通过 DataX 实 MySQL 数据同步

1）生成 MySQL 到 MySQL 同步的模板：

[root@MySQL-1 ~]# python /usr/local/datax/bin/datax.py -r mysqlreader -w mysqlwriter

{

“job”: {

“content”: [

{

“reader”: {

“name”: “mysqlreader”, # 读取端

“parameter”: {

“column”: [], # 需要同步的列 (* 表示所有的列)

“connection”: [

{

“jdbcUrl”: [], # 连接信息

“table”: [] # 连接表

}

“password”: “”, # 连接用户

“username”: “”, # 连接密码

“where”: “” # 描述筛选条件

}

“writer”: {

“name”: “mysqlwriter”, # 写入端

“parameter”: {

“column”: [], # 需要同步的列

“connection”: [

{

“jdbcUrl”: “”, # 连接信息

“table”: [] # 连接表

}

“password”: “”, # 连接密码

“preSql”: [], # 同步前. 要做的事

“session”: [],

“username”: “”, # 连接用户

“writeMode”: “” # 操作类型

}

总结：绘上一张Kakfa架构思维大纲脑图（xmind）

其实关于Kafka，能问的问题实在是太多了，扒了几天，最终筛选出44问：基础篇17问、进阶篇15问、高级篇12问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？

若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

Kafka入门
为什么选择Kafka
Kafka的安装、管理和配置
Kafka的集群
第一个Kafka程序
Kafka的生产者
Kafka的消费者
深入理解Kafka
可靠的数据传递
Spring和Kafka的整合
SpringBoot和Kafka的整合
Kafka实战之削峰填谷
数据管道和流式处理(了解即可)

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

问，个个直戳痛点，不知道如果你不着急看答案，又能答出几个呢？

若是对Kafka的知识还回忆不起来，不妨先看我手绘的知识总结脑图（xmind不能上传，文章里用的是图片版）进行整体架构的梳理

梳理了知识，刷完了面试，如若你还想进一步的深入学习解读kafka以及源码，那么接下来的这份《手写“kafka”》将会是个不错的选择。

Kafka入门
为什么选择Kafka
Kafka的安装、管理和配置
Kafka的集群
第一个Kafka程序
Kafka的生产者
Kafka的消费者
深入理解Kafka
可靠的数据传递
Spring和Kafka的整合
SpringBoot和Kafka的整合
Kafka实战之削峰填谷
数据管道和流式处理(了解即可)

[外链图片转存中…(img-WqD6VJO0-1715337536465)]

[外链图片转存中…(img-FHqutOJG-1715337536465)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

需要这份系统化的资料的朋友，可以点击这里获取

2401_84584763

关注

16
点赞
踩
12

收藏

觉得还不错? 一键收藏
0
评论
Java最全使用 DataX 实现数据同步（高效的数据同步工具），阿里java社招面试

总的来说，面试是有套路的，一面基础，二面架构，三面个人。最后，小编这里收集整理了一些资料，其中包括面试题（含答案）、书籍、视频等。希望也能帮助想进大厂的朋友本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录需要这份系统化的资料的朋友，可以点击这里获取后面在网上查看后，发现 DataX 这个工具用来同步不仅速度快，而且同步的数据量基本上也相差无几。一、DataX 简介DataX 是阿里云DataWorks 数据集成的开源版本，
复制链接

扫一扫