datax和datax_web的搭建与入门使用（windows版本）

已于 2022-03-23 16:46:13 修改
阅读量8.4k 收藏 27
点赞数 4
文章标签： 数据库
于 2022-03-23 13:32:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40496191/article/details/123683479
版权

文章目录

一、安装datax环境

  1. 安装python2.7.18（配置环境变量）：https://www.python.org/downloads/release/python-2718/
  2. 安装jdk8（配置环境变量）
  3. 安装 maven 3.x（配置环境变量）
  4. datax.tar.gz包下载并解压：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
  5. datax源码下载：https://github.com/alibaba/DataX。(下载源码主要是因为某些源码需要自己修改，然后重新打包覆盖导datax，如下述的mysql版本不一致例子)
    ps1:自动下载依赖，如果hitsdb-client报错，则将hitsdb-client依赖版本改为0.3.7即可
    ps2:因为我的项目用的是mysql8，所以需要将mysqlReader、mysqlWriter服务的mysql的依赖改为8.0.17，默认是5.x
    ps3:datax-all服务执行clean-install
    ps4:将mysqlReader、mysqlWriter生成的target–>datax–>plugins复制到datax的bin同级的目录下，覆盖即可
    ps5:将“datax\plugin\reader\mysqlreader\libs”、“datax\plugin\writer\mysqlwriter\libs”目录下的mysql5的包删除

二、使用datatx

  1. 打开cmd界面
  2. 进入datax的bin目录下
  3. 输入CHCP 65001 防止中文乱码
  4. 查看模板命令行： python datax.py -r streamreader -w streamwriter
  5. 执行脚本：python datax.py E:\datax\datax\datax\job\job.json
    ps1:报错：提供的配置文件[E:\datax\datax\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件.
    ​ —>解决：删除datax\plugin\writer、datax\plugin\reader底下"._"开头文件
  6. 编写脚本，将脚本存放到datax\datax\job目录底下，然后执行后python datax.py datax\job\你的脚本.json运行
    ps1:脚本格式信息可以去https://github.com/alibaba/DataX/查看
    在这里插入图片描述
    ps1:脚本基础参数说明（mysql、oracle）
{
    "job": {
        "setting": {
            "speed": {
                "channel": 并发数
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "固定的名字",
                    "parameter": {
                        "username": "账号",
                        "password": "密码",
                        "column": [
                            "字段1",
                            "字段2",
							"字段3"
							ps:[*]表示所有列，但是不建议使用
                        ],
                        "splitPk": "分片字段，丢给task，所以必须是整形。一般用主键即可（非必须）",
                        "connection": [
                            {
                                "table": [ "表"],
                                "jdbcUrl": [  "数据库连接地址"],
								"querySql":["这里可以写查询数据的sql语句，但是如果这里写了，则不允许再配置table，否则会报错（非必须，table和querySql只能存在一个）"]
                            }
                        ],
						"where":"过滤条件"
                    }
                },
                "writer": {
                    "name": "固定的名字",
                    "parameter": {
                        "writeMode": "写入策略",
                        "username": "账户",
                        "password": "密码",
                        "column": [
                            "字段1",
                            "字段2",
							"字段3"
                        ],
                        "session": [
                        	"DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性（非必须）"
                        ],
                        "preSql": [
                            "写入数据到目的表前，会先执行这里的标准语句（非必须）"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "数据库连接地址",
                                "table": [
                                    "表"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

ps3:将mysql的datax数据过滤后迁移到oracle实例

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "datax"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8"
                                ]
                            }
                        ],
						"where":"id < 10"
                    }
                },
                 "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "HYDROPOWER_JIANGXI",
                        "password": "ffcsict123",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "preSql": [
                            "delete from datax"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@192.168.35.9:1521:orcl",
                                "table": [
                                    "datax"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
  1. 达梦数据库：因为数据库介绍没有dm数据库，所以只能使用“通用RDBMS(支持所有关系型数据库)”这种模式进行传输。
{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "datax"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8"
                                ]
                            }
                        ],
						"where":"id < 10"
                    }
                },
                 "writer": {
                    "name": "rdbmswriter",
                    "parameter": {
                        "username": "AES",
                        "password": "ffcsict123",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "preSql": [
                            "delete from datax"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:dm://127.0.0.1:5236/AES?zeroDateTimeBehavior=converToNull&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "datax"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
  1. 文件流：只能读取规则的二维表结构文件，并且只能读取本地文件及远程服务器的文件，只能调用api接口获取流
{
    "setting": {},
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "ftpreader",
                    "parameter": {
                        "protocol": "sftp",
                        "host": "192.168.248.11",
                        "port": 22,
                        "username": "root",
                        "password": "ffcsict123",
                        "path": [
                            "/root/datax/datax.txt","/root/datax/datax.csv"
                        ],
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string",
                            
                            }
                        ],
                        "encoding": "GBK",
                        "fieldDelimiter": ",",
						"skipHeader": "true"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "preSql": [
                            "delete from datax1"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8",
                                "table": [
                                    "datax1"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

三、安装datax_web

  1. datax_web下载源码：https://github.com/WeiYe-Jing/datax-web
    ps1：创建数据库：脚本文件路径–>datax-web\bin\db
    ps2：修改配置文件：修改datax-admin和datax-executor下的application.yml，将变量路径与端口都根据注释内容放开，数据库和目录根据电脑情况自行修改。
    ps3：数据库路径后面记得加上“&allowPublicKeyRetrieval=true”
    ps4：mail部分直接放开xx即可
  2. hadoop2.7.4下载：https://github.com/vhma/winutils
    ps1:下载完，解压，需要配置环境变量。HADOOP_HOME：地址。path：%HADOOP_HOME%/bin
  3. 启动datax-admin和datax-executor服务，访问地址：http://localhost:8080/index.html，账号密码：admin/123456
    在这里插入图片描述

四、datax_web的使用

  1. 创建项目
    在这里插入图片描述

  2. 执行器管理中新建执行器（原来库里已有默认的，可直接使用）
    在这里插入图片描述

  3. 新建数据源
    在这里插入图片描述

  4. 任务管理中Datax任务模板创建
    在这里插入图片描述

  5. 任务构建
    在这里插入图片描述
    选对应的目标库与目标库，字段对应上即可。可以在执行前编写前置sql，比如清除表数据操作等
    在这里插入图片描述
    勾选对应的标和字段，按顺序匹配
    在这里插入图片描述
    然后构建，点击生成模板，下一步即可
    在这里插入图片描述

  6. 任务管理模块就可以看到生成的任务管理了。可以点击启动，或者执行一次，然后查看日志看看是否成功
    在这里插入图片描述
    在这里插入图片描述
    如果报错的话，可以查看日志以及检查相关的脚本信息
    在这里插入图片描述
    在这里插入图片描述

懒惰の天真热
关注
  • 4
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
datax_web搭建.zip
03-04
1. 下载源码：首先，从GitHub或其他开源平台下载DataX Web的源码压缩包"datax_web搭建.zip"。 2. 解压：将压缩包解压到指定目录，例如/home/datax/datax_web。 3. 配置数据库连接：在conf/application.properties...
适配datax（包含DorisWriter 插件）的datax_web
10-10
DataX doriswriter 插件，用于通过 ...DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的 操作界面。 GitHub上的Datax Web项目不支持doriswriter 插件。 本项目是集成了doris，适配doriswriter 插件。
dataX3.0和datax-web部署实践踩坑记录（windows版）
Masker1133的博客
12-21 3961
今年公司需要上一个数据分析项目，在考察了一番（百度一番）之后决定上datax加上datax-web的方式来进行数据调度。PS：写在前面，主要作用是为了自己以后再次（跳槽）部署而写下的记录。
Datax可视化工具Datax-web安装部署
xiao_ying_bo_ke的博客
04-15 2794
Datax web 可视化工具安装使用
Datax-web 添加达梦数据库
最新发布
zhSpace的博客
06-20 969
Datax-web 2.1.3 添加达梦数据库支持
ETL工具阿里DataX与DataX-Web的安装部署
一个天蝎座的程序猿
11-11 2568
一、下载tar包 github地址：https://github.com/alibaba/DataX 下载tar包地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 二、上传tar包解压并安装 上传至服务器/opt/下并解压 tar -xzvf datax.tar.gz 三、上传解压datax-web 链接: https://pan.baidu.com/s/1B8bb_KeyIYvpbI5s3IwCjA 提取码: 3
Datax+DataX-Web分布式搭建
幽灵 逐梦--专栏
06-12 5145
Datax+DataX-Web分布式搭建
大数据 DataX-Web 详细安装教程
Stars.Sky 的博客
11-24 6359
大数据 DataX-Web 详细安装教程
【工具】之DataX-Web简单介绍
chimchim66的博客
08-19 8157
【工具】之DataX-Web简单介绍
DataxWeb安装部署及使用--真香警告
qq_34905631的博客
11-02 3079
DataXDataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
datax-web
bswsf的专栏
06-16 1422
（此处datax-admin设定的端口需要与datax-executor中配置的admin.addresses端口完全一致，否则会导致执行器无法正确注册，datax-executor的端口可以自行配置，但是不能与datax-executor配置的executor.port重复，否则会发生端口被占用的情况，此处还不是明白为啥一个程序要两个端口）总结：datax-web 相当如给datax提供了界面话的一些功能和监控。可以结合使用，反正datax-web是依赖datax的。
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
datax clickhouse_read_writejar.zip
11-16
《DataX ClickHouse读写插件详解》 DataX是阿里巴巴开源的一款强大的数据同步工具，它支持多种...在实际使用中，根据业务需求选择合适的配置和优化策略，能够充分发挥DataX和ClickHouse的优势，实现高效的数据流转。
DataX_python3补丁，DataX安装（Windows版）
02-17
在这个“DataX_python3补丁，DataX安装（Windows版）”的主题中，我们主要关注的是如何在Python 3环境下，特别是在Python 3.7.0版本上安装和使用DataX。下面我们将详细探讨这个过程中的关键知识点： 1. **Python ...
数据同步工具—DataX—Web部署使用
张伟的专栏
02-06 5650
这一节主要部署了DataX—Web ，DataX—Web 主要解决了DataX的任务管理、运维的问题，而且有自己的调度，但是在整个数仓中却难以使用，因为我们无法将DataX—Web 和已有的调度系统进行整合。所以比较好的方式是在我们的调度系统中去集成DataX—Web，那这个时候只有任务构建这个模块是我们需要的，其他的监控、数据源管理调度系统已经有了，所以这个东西应用场景有限，只能作为一个参考。
DataX Web可视化分布式调度数据同步系统
沈大神的博客
10-13 1875
DataX Web可视化管理后台《DataXP》，设计思路，集成XXLJOB源码，admin做管理端，client集成DataX源码做执行端，docker镜像发布，较少环境依赖，主流开发语言，只需要挂一个Mysql就可以跑起来
Datax 与 Datax-Web 安装部署
运维-晓柏的博客
11-22 4162
详细记录了datax与datax-web安装部署过程。
在Linux和Windows上编译DataX源码
zhangbeizhen18的博客
02-06 846
记录：370 场景：在CentOS 7.9操作系统上，使用apache-maven-3.8.7安装编译DataX源码。在Windows上操作系统上，使用apache-maven-3.8.7编译DataX源码。
linux安装datax和datax_web
08-25
要在Linux上安装DataX和DataX Web，您可以按照以下步骤进行操作： 1. 安装Java：DataX是基于Java开发的，所以首先需要安装Java运行环境。您可以使用以下命令来安装OpenJDK（Java的一个开源实现）： ``` sudo apt update sudo apt install openjdk-8-jdk ``` 2. 下载DataX：您可以从DataX的官方GitHub页面（https://github.com/alibaba/DataX）上下载DataX的最新版本。使用以下命令将其下载到您的Linux系统中： ``` wget https://github.com/alibaba/DataX/archive/refs/tags/vx.x.x.tar.gz ``` 3. 解压DataX：使用以下命令解压下载的DataX压缩包： ``` tar -zxvf vx.x.x.tar.gz ``` 4. 配置DataX：进入解压后的DataX目录，并编辑`job`目录下的配置文件`job.json`，根据您的需要配置数据源和目标源的连接信息。 5. 运行DataX：使用以下命令启动DataX并执行数据迁移任务： ``` cd DataX-x.x.x python bin/datax.py job/job.json ``` 至此，您已成功在Linux上安装和运行DataX。 如果您还希望安装DataX Web，可以按照以下步骤进行操作： 1. 安装Python和pip：DataX Web是基于Python和Flask框架开发的，所以需要安装Python和pip包管理工具。使用以下命令安装： ``` sudo apt install python3 python3-pip ``` 2. 下载DataX Web：您可以从DataX Web的官方GitHub页面（https://github.com/WeiYe-Jing/datax-web）下载最新版本。使用以下命令将其下载到您的Linux系统中： ``` wget https://github.com/WeiYe-Jing/datax-web/archive/refs/tags/vx.x.x.tar.gz ``` 3. 解压DataX Web：使用以下命令解压下载的DataX Web压缩包： ``` tar -zxvf vx.x.x.tar.gz ``` 4. 安装依赖：进入解压后的DataX Web目录，使用pip安装所需的依赖包： ``` cd datax-web-x.x.x pip3 install -r requirements.txt ``` 5. 配置DataX Web：编辑`config.py`文件，根据您的需要配置数据库连接等信息。 6. 初始化数据库：使用以下命令初始化数据库： ``` python3 manage.py db init python3 manage.py db migrate python3 manage.py db upgrade ``` 7. 启动DataX Web：使用以下命令启动DataX Web服务： ``` python3 manage.py runserver ``` 现在，您可以通过访问`http://localhost:8888`在浏览器中访问DataX Web界面，并使用DataX Web来执行和管理数据迁移任务。 希望对您有所帮助！如有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值