DataX-web安装部署和使用

已于 2023-10-21 16:35:13 修改
阅读量1.7k 收藏 8
点赞数 4
文章标签： 前端
于 2023-10-21 16:32:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45625174/article/details/133827253
版权

DataX-web的环境准备

  • MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库

  • JDK (1.8.0_xxx) 必选

  • DataX 必选

  • Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

安装部署MySQL

yum  -y install  https://repo.mysql.com/mysql80-community-release-el7-7.noarch.rpm
#修改yum文件
vim mysql-community.repo
# Enable to use MySQL 5.7
[mysql57-community]
name=MySQL 5.7 Community Server
baseurl=http://repo.mysql.com/yum/mysql-5.7-community/el/7/$basearch
enabled=1
gpgcheck=1
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql-2022
       file:///etc/pki/rpm-gpg/RPM-GPG-KEY-mysql
这个enable后面参数修改为1，其他的源全部修改为0。
#安装MySQL
yum -y install mysql-community-server
#启动mysql
systemctl start  mysqld.service
systemctl enable  mysqld.service
#查询MySQL的密码
grep password /var/log/mysqld.log   
#登录MySQL并修改密码和密码策略
mysql -uroot -p
alter  user  'root'@'localhost'  identified by '1234Qaz.'
set global validate_password_policy=0;  #设置密码策略为LOW
set global validate_password_length=1; #设置密码长度为1
#修改MySQL配置文件
vim  /etc/my.cnf
...
#添加以下内容
validate_password_policy=0
validate_password_length=1
#重启mysql
systemctl   restart mysqld
#修改密码
mysql  -uroot -p
alter  user 'root'@'localhost'  identified by '1234';

安装JDK

yum -y  install java-1.8.0-openjdk  java-1.8.0-openjdk-devel

DataX安装部署

1. DataX介绍

1.1 什么是 DataX

  • DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。

    在这里插入图片描述

1.2. DataX 的设计

  • 为了解决异构数据源同步问题，DataX 将复杂的网状的同步链路变成了星型数据链路，DataX 作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到 DataX，便能跟已有的数据源做到无缝数据同步。
    在这里插入图片描述

1.3. 支持的数据源

  • DataX 目前已经有了比较全面的插件体系，主流的 RDBMS 数据库、NOSQL、大数据计算系统都已经接入。
类型数据源Reader(读)Writer(写)
RDBMS 关系型数据库MySQL√√
Oracle√√
OceanBase√√
SQLServer√√
PostgreSQL√√
DRDS√√
Kingbase√√
通用RDBMS(支持所有关系型数据库)√√
阿里云数仓数据存储ODPS√√
ADB√
ADS√
OSS√√
OCS√
Hologres√
AnalyticDB For PostgreSQL√
阿里云中间件datahub√√
SLS√√
图数据库阿里云 GDB√√
Neo4j√
NoSQL数据存储OTS√√
Hbase0.94√√
Hbase1.1√√
Phoenix4.x√√
Phoenix5.x√√
MongoDB√√
Cassandra√√
数仓数据存储StarRocks√√
ApacheDoris√
ClickHouse√√
Databend√
Hive√√
kudu√
selectdb√
无结构化数据存储TxtFile√√
FTP√√
HDFS√√
Elasticsearch√
时间序列数据库OpenTSDB√
TSDB√√
TDengine√√

1.4. 框架设计

在这里插入图片描述

  • Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。

  • Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。

  • Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。

1.5. 运行原理

在这里插入图片描述

  • Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。

  • Task：由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。

  • Schedule：将Task组成TaskGroup，单个TaskGroup的并发数量为5。

  • TaskGroup：负责启动Task。

  • **举例：**用户提交了一个 DataX 作业，并且配置了 20 个并发，目的是将一个 100 张分表的 mysql 数据同步到 odps 里面。 DataX 的调度决策思路是：

    1. DataXJob 根据分库分表切分成了 100 个 Task。
    2. 根据 20 个并发，DataX 计算共需要分配 4 个 TaskGroup。
    3. 4 个 TaskGroup 平分切分好的 100 个 Task，每一个 TaskGroup 负责以 5 个并发共计运行 25 个 Task。

1.6. 与 Sqoop 的对比

在这里插入图片描述

2. DataX安装部署

2.1. 前置要求

  • Linux
  • JDK(1.8 以上，推荐 1.8)
  • Python(推荐 Python2.6.X)

2.2. 安装

  • 将下载好的 datax.tar.gz 上传到 服务器上/usr/local/soft/
  • 解压 datax.tar.gz 到/usr/local/soft/
tar -xf   datax.tar.gz
  • 运行自检脚本
cd  /usr/local/soft/datax/bin/
python datax.py /usr/local/soft/datax/job/job.json

在这里插入图片描述

DataX-web 安装部署

1. datax-web介绍

1.1. datax-web是什么？

  • DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

  • 任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

1.2. datax-web架构

在这里插入图片描述

1. DataX-web的二进制包下载

#把下载的datax-web二进制tar包上传至/usr/local/soft
cd /usr/local/soft/

#解压
tar -xf  datax-web-2.1.2.tar.gz

2. 执行一键安装脚本

cd datax-web-2.1.2/
#执行一键安装脚本
./bin/install.sh

2023-10-14 23:06:55.058 [INFO] (9341) Creating directory: [/usr/local/soft/datax-web-2.1.2/bin/../modules].
2023-10-14 23:06:55.062 [INFO] (9341)  ####### Start To Uncompress Packages ######
2023-10-14 23:06:55.064 [INFO] (9341) Uncompressing....
Do you want to decompress this package: [datax-admin_2.1.2_1.tar.gz]? (Y/N)y    #你想解压缩这个包吗(datax-admin_2.1.2_1.tar.gz)这里选择y解压
2023-10-14 23:06:57.422 [INFO] (9341)  Uncompress package: [datax-admin_2.1.2_1.tar.gz] to modules directory
Do you want to decompress this package: [datax-executor_2.1.2_1.tar.gz]? (Y/N)y #你想解压缩这个包吗(datax-executor_2.1.2_1.tar.gz)这里选择y解压
2023-10-14 23:07:00.938 [INFO] (9341)  Uncompress package: [datax-executor_2.1.2_1.tar.gz] to modules directory
2023-10-14 23:07:01.162 [INFO] (9341)  ####### Finish To Umcompress Packages ######
Scan modules directory: [/usr/local/soft/datax-web-2.1.2/bin/../modules] to find server under dataxweb
2023-10-14 23:07:01.166 [INFO] (9341)  ####### Start To Install Modules ######
2023-10-14 23:07:01.168 [INFO] (9341) Module servers could be installed:
 [datax-admin]  [datax-executor]
Do you want to confiugre and install [datax-admin]? (Y/N)y #是否要确认并安装datax-admin
2023-10-14 23:07:03.516 [INFO] (9341)  Install module server: [datax-admin]
Start to make directory
2023-10-14 23:07:03.532 [INFO] (9381)  Start to build directory
2023-10-14 23:07:03.536 [INFO] (9381) Creating directory: [/usr/local/soft/datax-web-2.1.2/modules/datax-admin/bin/../logs].
2023-10-14 23:07:03.570 [INFO] (9381) Directory or file: [/usr/local/soft/datax-web-2.1.2/modules/datax-admin/bin/../conf] has been exist
2023-10-14 23:07:03.572 [INFO] (9381) Creating directory: [/usr/local/soft/datax-web-2.1.2/modules/datax-admin/bin/../data].
end to make directory
Start to initalize database
2023-10-14 23:07:03.598 [INFO] (9381)  Scan out mysql command, so begin to initalize the database
Do you want to initalize database with sql: [/usr/local/soft/datax-web-2.1.2/bin/db/datax_web.sql]? (Y/N)y 是否要使用sql初始化数据库,这里选择y
Please input the db host(default: 127.0.0.1): #请输入数据库主机,这里回车，选择127.0.0.1
Please input the db port(default: 3306): #请输入数据库端口,这里回车，选择3306
Please input the db username(default: root): #请输入数据库用户名,这里回车，选择root
Please input the db password(default: ): 1234 #请输入数据库密码,这里输入1234
Please input the db name(default: dataxweb)
mysql: [Warning] Using a password on the command line interface can be insecure.
Do you want to confiugre and install [datax-executor]? (Y/N)y #是否要确认并安装datax-executor，这里选择安装
2023-10-14 23:07:27.697 [INFO] (9341)  Install module server: [datax-executor]
2023-10-14 23:07:27.713 [INFO] (9425)  Start to build directory
2023-10-14 23:07:27.715 [INFO] (9425) Creating directory: [/usr/local/soft/datax-web-2.1.2/modules/datax-executor/bin/../logs].
2023-10-14 23:07:27.739 [INFO] (9425) Directory or file: [/usr/local/soft/datax-web-2.1.2/modules/datax-executor/bin/../conf] has been exist
2023-10-14 23:07:27.741 [INFO] (9425) Creating directory: [/usr/local/soft/datax-web-2.1.2/modules/datax-executor/bin/../data].
2023-10-14 23:07:27.764 [INFO] (9425) Creating directory: [/usr/local/soft/datax-web-2.1.2/modules/datax-executor/bin/../json].
2023-10-14 23:07:27.789 [INFO] (9341)  ####### Finish To Install Modules ######

3. 修改配置文件

#/modules/datax-execute/bin/env.properties 指定PYTHON_PATH的路径
vim modules/datax-executor/bin/env.properties
...
#修改如下：

DATAX_ADMIN_PORT=9527  #保持和datax-admin端口一致
PYTHON_PATH=/usr/local/soft/datax/bin/datax.py #指定datax的路径
...

4. 启动服务

#一键启动所有服务
/usr/local/soft/datax-web-2.1.2/bin/start-all.sh

2023-10-14 23:26:40.112 [INFO] (10448)  Try To Start Modules In Order
2023-10-14 23:26:40.118 [INFO] (10456)  ####### Begin To Start Module: [datax-admin] ######
2023-10-14 23:26:40.124 [INFO] (10464) load environment variables
2023-10-14 23:26:40.420 [INFO] (10464) DATAX-ADMIN has been started in process
2023-10-14 23:26:40.427 [INFO] (10625)  ####### Begin To Start Module: [datax-executor] ######
2023-10-14 23:26:40.433 [INFO] (10633) load environment variables
2023-10-14 23:26:40.710 [INFO] (10633) java
2023-10-14 23:26:40.713 [INFO] (10633) Waiting DATAX-EXEXUTOR to start complete ...
2023-10-14 23:26:40.853 [INFO] (10633) DATAX-EXEXUTOR start success

#一键停掉所有服务
/usr/local/soft/datax-web-2.1.2/bin/stop-all.sh

5. 测试datax-web是否可以通过浏览器访问

  • 在浏览器中输入http://ip:9527/index.html就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口）

  • 输入用户名 admin 密码 123456 就可以直接访问系统
    在这里插入图片描述

mysql数据同步到sql-server

  • 首先完成这个数据同步之前先安装MySQL并创建库和表并写入数据，然后安装sql-server并创建表

1. 在MySQL上创建数据库，并写入数据

  • 由于本机已经安装MySQL，所以不需要安装。
create database db1 default charset=utf8;
use db1;
#创建表格
create table stuinfo(
    -> id int(10),
    -> name char(4) not null,
    -> age int(4) not null,
    -> sex char(10),
    -> likes char(20) );
#导入数据
mysql> insert into stuinfo values('001','bob','25','boy','run'),('002','andy','28','boy','read a book');
#查看表格信息
mysql> select * from stuinfo;
+------+------+-----+------+-------------+
| id   | name | age | sex  | likes       |
+------+------+-----+------+-------------+
|    1 | bob  |  25 | boy  | run         |
|    2 | andy |  28 | boy  | read a book |
+------+------+-----+------+-------------+
2 rows in set (0.00 sec)

2. 安装sqlserver并创建表格

#下载yum源
curl https://packages.microsoft.com/config/rhel/7/mssql-server-2019.repo > /etc/yum.repos.d/mssql-server.repo
#安装
yum install -y mssql-server
#程序包安装完成后，请运行 mssql-conf setup 命令选择安装版本并按提示进行安装，具体操作如下：
/opt/mssql/bin/mssql-conf setup
#回车后---》选择版本号---》选择是否同意许可条款--》创建sa的密码--》回车
#配置完成后，请验证服务是否正在运行
systemctl status mssql-server
  • 通过NaviCat连接SQL server并创建表格
    在这里插入图片描述

3. 创建项目

  • 点击项目管理—》添加—》填写项目名称和描述点击确定即可
    在这里插入图片描述
    在这里插入图片描述

4. 添加数据源

  • 点击数据源管理-----》添加—》填写数据源信息
  • 这里需要添加两个数据源分别是MySQL和SQL server的
    在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

5. 创建任务模板

  • 任务管理—》DataX任务模板—》填写任务信息

在这里插入图片描述

6. 创建任务构建

  • 任务管理–》任务构建–》步骤1构建reader–>步骤2构建write—>步骤3字段映射–》步骤4构建
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

7.验证：

  • 执行一次任务查看是否同步成功
    在这里插入图片描述
    在这里插入图片描述
小鱼儿&
关注
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 DataX 同步其他数据源的数据到 Doris 中。(https://doris.apache.org/zh-CN/docs/ecosystem/datax?_highlight=datax#%E5%85%B3%E4%BA%8E-datax) DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
DataxWeb安装部署及使用--真香警告
qq_34905631的博客
11-02 5024
DataXDataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
9、DataX部署
最新发布
赞的心路历程
09-09 1110
DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
Datax可视化工具Datax-web安装部署
xiao_ying_bo_ke的博客
04-15 4545
Datax web 可视化工具安装使用
数据同步工具—DataX—Web部署使用
张伟的专栏
02-06 5855
这一节主要部署了DataX—Web ，DataX—Web 主要解决了DataX的任务管理、运维的问题，而且有自己的调度，但是在整个数仓中却难以使用，因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web，那这个时候只有任务构建这个模块是我们需要的，其他的监控、数据源管理调度系统已经有了，所以这个东西应用场景有限，只能作为一个参考。
分布式数据同步工具之DataX-Web部署使用
Focus on Lakehouse
07-24 6477
背景介绍，因为需求是外部数据和内部生产数据之间需要通步，因此dataworks的数据同步模块的源端和目标是不支持多网络环境，要么公网，要么内网，因此这种需求我们的dataworks是不能使用的，我们调研了两个工具，一个是dataxweb ,一个是dolphinscheduler ，今天的篇幅主要讲解一下搭建的dataxweb的流程。 一、环境准备 1)...
windows本地部署DataX-web
07-22
### Windows本地部署DataX-Web知识点详述 #### 一、概述 DataX-Web是一款集成了DataX的可视化管理工具，它简化了数据同步任务的创建过程，并提供了丰富的功能来支持不同数据源之间的同步需求。该工具支持包括但不...
datax-web部署手册
07-15
《DataX-Web部署指南》 DataX-Web是一个基于Java和Python的开源数据同步工具，它提供了Web化的操作界面，方便用户进行数据迁移任务的管理和执行。本篇指南将详细介绍如何在IntelliJ IDEA环境下编译DataX-Web源码，...
javase源码-datax-web:dataxweb。datax中的web配置界面没有集成在一起开源出来，此为web端配置项目
06-04
java se源码 主要功能 提供一个 web 系统，方便开发人员快速创建作业 ...datax安装目录： export DATAX_HOME=... datax源码目录： export DATAX_SRC_HOME=... datax作业文件保存目录： export DATAX_JSON_HOME=...
datax-web 啊啊啊啊啊啊啊啊啊啊啊啊
10-19
而DataX Web则是DataX的Web化版本，它旨在简化DataX的使用流程，提供更加直观、便捷的界面操作，使得数据迁移任务的配置和管理变得更加简单。 DataX本身支持多种数据源，包括关系型数据库（如MySQL、Oracle）、...
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持...
DataX-Web部署和使用
qq_60275529的博客
05-18 2545
目录一、准备（一）一台centos 7主机、连网（二）关闭防火墙二、jdk安装配置（一）将jdk安装包上传到opt下或用wget下载将jdk压缩包授权并解压（二）配置环境变量，在profile最后面添加（三）让配置生效（四）查看java版本，执行下面命令出现jdk版本即安装成功三、mysql5.7安装配置（一）查找已经安装的mysql安装包（二）CentOS7下还需要查找是否存在mariadb包：（三）上述两步骤如果查出了mysql则需要将对应的文件删除（四）MySQL 安装会通过 MySQL 用户在 /t
Datax 与 Datax-Web 安装部署
运维-晓柏的博客
11-22 5408
详细记录了datax与datax-web安装部署过程。
Datax+DataX-Web分布式搭建
幽灵 逐梦--专栏
06-12 5912
Datax+DataX-Web分布式搭建
DataX和dataX-web 集群部署及使用
qq_42496461的博客
10-06 2108
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。datax-web集群部署 一个datax-web和多个datax-executor。在jdbc url增加配置 在没有服务器身份验证的情况下建立SSL连接\设置useSSL=false来显式禁用SSL。的任务构建是负责自动生成dataX用的json文件，如果已经有json文件 就不需要使用。下的日志能查到日志文件。
大数据 DataX-Web 详细安装教程
Stars.Sky 的博客
11-24 8035
大数据 DataX-Web 详细安装教程
【工具】之DataX-Web简单介绍
chimchim66的博客
08-19 8271
【工具】之DataX-Web简单介绍
容器安装Datax+Datax-web2.1（一）
CN_Eden
05-17 1433
DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。Datax Github地址Datax-web Github地址。
9、DataX安装部署
赞的心路历程
07-05 3106
通常情况下，离线数据同步任务需要每日定时重复执行，故HDFS上的目标路径通常会包含一层日期，以对每日同步的数据加以区分，也就是说每日同步数据的目标路径不是固定不变的，因此DataX配置文件中HDFS Writer的path参数的值应该是动态的。为实现这一效果，就需要使用DataX传参的功能。DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值