datax和datax_web的搭建与入门使用（windows版本）

已于 2022-03-23 16:46:13 修改
阅读量8.6k 收藏 28
点赞数 4
文章标签： 数据库
于 2022-03-23 13:32:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40496191/article/details/123683479
版权

文章目录

一、安装datax环境

  1. 安装python2.7.18（配置环境变量）：https://www.python.org/downloads/release/python-2718/
  2. 安装jdk8（配置环境变量）
  3. 安装 maven 3.x（配置环境变量）
  4. datax.tar.gz包下载并解压：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
  5. datax源码下载：https://github.com/alibaba/DataX。(下载源码主要是因为某些源码需要自己修改，然后重新打包覆盖导datax，如下述的mysql版本不一致例子)
    ps1:自动下载依赖，如果hitsdb-client报错，则将hitsdb-client依赖版本改为0.3.7即可
    ps2:因为我的项目用的是mysql8，所以需要将mysqlReader、mysqlWriter服务的mysql的依赖改为8.0.17，默认是5.x
    ps3:datax-all服务执行clean-install
    ps4:将mysqlReader、mysqlWriter生成的target–>datax–>plugins复制到datax的bin同级的目录下，覆盖即可
    ps5:将“datax\plugin\reader\mysqlreader\libs”、“datax\plugin\writer\mysqlwriter\libs”目录下的mysql5的包删除

二、使用datatx

  1. 打开cmd界面
  2. 进入datax的bin目录下
  3. 输入CHCP 65001 防止中文乱码
  4. 查看模板命令行： python datax.py -r streamreader -w streamwriter
  5. 执行脚本：python datax.py E:\datax\datax\datax\job\job.json
    ps1:报错：提供的配置文件[E:\datax\datax\datax\plugin\reader._cassandrareader\plugin.json]不存在. 请检查您的配置文件.
    ​ —>解决：删除datax\plugin\writer、datax\plugin\reader底下"._"开头文件
  6. 编写脚本，将脚本存放到datax\datax\job目录底下，然后执行后python datax.py datax\job\你的脚本.json运行
    ps1:脚本格式信息可以去https://github.com/alibaba/DataX/查看
    在这里插入图片描述
    ps1:脚本基础参数说明（mysql、oracle）
{
    "job": {
        "setting": {
            "speed": {
                "channel": 并发数
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "固定的名字",
                    "parameter": {
                        "username": "账号",
                        "password": "密码",
                        "column": [
                            "字段1",
                            "字段2",
							"字段3"
							ps:[*]表示所有列，但是不建议使用
                        ],
                        "splitPk": "分片字段，丢给task，所以必须是整形。一般用主键即可（非必须）",
                        "connection": [
                            {
                                "table": [ "表"],
                                "jdbcUrl": [  "数据库连接地址"],
								"querySql":["这里可以写查询数据的sql语句，但是如果这里写了，则不允许再配置table，否则会报错（非必须，table和querySql只能存在一个）"]
                            }
                        ],
						"where":"过滤条件"
                    }
                },
                "writer": {
                    "name": "固定的名字",
                    "parameter": {
                        "writeMode": "写入策略",
                        "username": "账户",
                        "password": "密码",
                        "column": [
                            "字段1",
                            "字段2",
							"字段3"
                        ],
                        "session": [
                        	"DataX在获取Mysql连接时，执行session指定的SQL语句，修改当前connection session属性（非必须）"
                        ],
                        "preSql": [
                            "写入数据到目的表前，会先执行这里的标准语句（非必须）"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "数据库连接地址",
                                "table": [
                                    "表"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

ps3:将mysql的datax数据过滤后迁移到oracle实例

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "datax"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8"
                                ]
                            }
                        ],
						"where":"id < 10"
                    }
                },
                 "writer": {
                    "name": "oraclewriter",
                    "parameter": {
                        "username": "HYDROPOWER_JIANGXI",
                        "password": "ffcsict123",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "preSql": [
                            "delete from datax"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:oracle:thin:@192.168.35.9:1521:orcl",
                                "table": [
                                    "datax"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
  1. 达梦数据库：因为数据库介绍没有dm数据库，所以只能使用“通用RDBMS(支持所有关系型数据库)”这种模式进行传输。
{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "datax"
                                ],
                                "jdbcUrl": [
     "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8"
                                ]
                            }
                        ],
						"where":"id < 10"
                    }
                },
                 "writer": {
                    "name": "rdbmswriter",
                    "parameter": {
                        "username": "AES",
                        "password": "ffcsict123",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "preSql": [
                            "delete from datax"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:dm://127.0.0.1:5236/AES?zeroDateTimeBehavior=converToNull&useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "datax"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}
  1. 文件流：只能读取规则的二维表结构文件，并且只能读取本地文件及远程服务器的文件，只能调用api接口获取流
{
    "setting": {},
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "ftpreader",
                    "parameter": {
                        "protocol": "sftp",
                        "host": "192.168.248.11",
                        "port": 22,
                        "username": "root",
                        "password": "ffcsict123",
                        "path": [
                            "/root/datax/datax.txt","/root/datax/datax.csv"
                        ],
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string",
                            
                            }
                        ],
                        "encoding": "GBK",
                        "fieldDelimiter": ",",
						"skipHeader": "true"
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "tiger",
                        "column": [
                            "id",
                            "name",
							"time"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "preSql": [
                            "delete from datax1"
                        ],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8&allowMultiQueries=true&useSSL=false&serverTimezone=GMT%2b8",
                                "table": [
                                    "datax1"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

三、安装datax_web

  1. datax_web下载源码：https://github.com/WeiYe-Jing/datax-web
    ps1：创建数据库：脚本文件路径–>datax-web\bin\db
    ps2：修改配置文件：修改datax-admin和datax-executor下的application.yml，将变量路径与端口都根据注释内容放开，数据库和目录根据电脑情况自行修改。
    ps3：数据库路径后面记得加上“&allowPublicKeyRetrieval=true”
    ps4：mail部分直接放开xx即可
  2. hadoop2.7.4下载：https://github.com/vhma/winutils
    ps1:下载完，解压，需要配置环境变量。HADOOP_HOME：地址。path：%HADOOP_HOME%/bin
  3. 启动datax-admin和datax-executor服务，访问地址：http://localhost:8080/index.html，账号密码：admin/123456
    在这里插入图片描述

四、datax_web的使用

  1. 创建项目
    在这里插入图片描述

  2. 执行器管理中新建执行器（原来库里已有默认的，可直接使用）
    在这里插入图片描述

  3. 新建数据源
    在这里插入图片描述

  4. 任务管理中Datax任务模板创建
    在这里插入图片描述

  5. 任务构建
    在这里插入图片描述
    选对应的目标库与目标库，字段对应上即可。可以在执行前编写前置sql，比如清除表数据操作等
    在这里插入图片描述
    勾选对应的标和字段，按顺序匹配
    在这里插入图片描述
    然后构建，点击生成模板，下一步即可
    在这里插入图片描述

  6. 任务管理模块就可以看到生成的任务管理了。可以点击启动，或者执行一次，然后查看日志看看是否成功
    在这里插入图片描述
    在这里插入图片描述
    如果报错的话，可以查看日志以及检查相关的脚本信息
    在这里插入图片描述
    在这里插入图片描述

懒惰の天真热
关注
干货阿里巴巴 开源软件列表
科技D人生
06-01 9253
阿里的开源项目很多，这也跟@淘宝正明的开源态度密不可分。有很多重量级的项目，例如LVS、Tengine，或者很有实践价值的中间件，今天小编为大家汇总了阿里开源的项目，快来看看吧！ 服务框架 Dubbo Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。 JDBC连接
datax 模板_datax安装（Windows版）
weixin_39575737的博客
01-13 381
一、安装datax将其解压即可。二、测试安装是否成功1,打开cmd界面(同时按下Windows键+R键)2,输入CHCP 65001 防止中文乱码3，跳转到datax的bin目录下命令行：d:cdD:\BigDataTools\datax\datax\bin4,查看模板命令行：python datax.py -r streamreader -w streamwriter5，使用datax首先我...
Windows下安装DataX-web源码并使用
weixin_44314933的博客
02-28 2842
环境要求：1.DataX成功安装并且能运行。
windows本地部署DataX-Web
最新发布
myh111_tt的博客
07-22 509
DataX集成可视化页面，选择数据源即可一键生成数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，批量创建RDBMS数据同步任务，集成开源调度系统，支持分布式、增量同步数据、实时查看运行日志、监控执行器资源、KILL运行进程、数据源信息加密等。路径如下：datax-executor/src/main/resources/application.yml。路径如下:datax-admin/src/main/resources/application.yml。
【DataX】datax | datax-web | win搭建datax-web环境 | linux环境
hgSuper的博客
02-01 4394
win部署datax-web
Datax可视化工具Datax-web安装部署
xiao_ying_bo_ke的博客
04-15 4183
Datax web 可视化工具安装使用
怎么将pom文件mysql驱动修改版本_mysql 数据库驱动 pom
weixin_39795845的博客
12-30 3136
用Maven插件生成Mybatis代码/数据库现在代码管理基本上是采用Maven管理，Maven的好处此处不多说，大家用百度搜索会有很多介绍，本文介绍一下用Maven工具如何生成Mybatis的代码及映射的文件。一、配置Maven pom.xml 文件在pom.xml增加以下插件： ...文章java牛2016-03-18675浏览量Cannot load driver class: com.m...
大数据架构师从入门到精通，你get到了吗？
jiawoxuexiqq30294961的博客
01-18 494
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。   ...
mysql 退出数据库_mysql怎样退出使用数据库
weixin_35183690的博客
01-18 2239
[Qt教程] 第22篇 数据库(二)编译MySQL数据库驱动[Qt教程]第22篇数据库(二)编译MySQL数据库驱动楼主发表于 2013-5-13 21:28:02|查看:1616|回复: 12编译MyQSL数据库驱动版权声明该文章原创于作者yafeilinux，转载请注明出处！导语...文章沧海一笑dj2013-11-121883浏览量在 Linux 中修改 MySQL 或 MariaD...
一篇文章告诉你大数据该如何入门，要怎样学习大数据
zehdisn的博客
06-24 461
很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢？ 其实就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个好学，哪个钱多。 先说一下大数据的4V特征： 数据量大，TB->PB 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 商业价值高，但是这种价值需要在...
datax-web-ui:DataX Web UI
03-20
Datax Web UI 说明 该项目由修改而来 构建设置 运行 npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org] 修改配置 找到vue.config.js修改proxy里的属性即可 [process.env.VUE_APP_API]: { target: `http://localhost:${apiPort}/api`, changeOrigin: true, pathRewrite: { ['^' + process.env.VUE_APP_API]: '' } 启动 npm run dev 打包 npm run build:prod
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
DataXWeb分布式数据同步工具
08-14
DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错。用户可通过页面选择数据源即可创
Datax、Datax-web 安装部署
qq_29766917的博客
08-23 1121
用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。在D:\DataX\datax\job目录下，手动新建json脚本，json示例如下图。
datax-web Windows10以开发者模式部署
大数据流浪法师的学习笔记与分享
11-10 3298
前言：目前在windows上只能以开发者模式部署 一、下载Datax-web 在github上搜datax-web，出来这个就是： 我们选择2.1.2版本 使用git或者打包下载都可以 二、解压，配置MySQL数据库 解压后是上面那个样子，首先运行需要一个本地的MySQL数据库 E:\environment\datax-web-2.1.2\bin\db\datax_web.sql 解压后的目录里bin目录的db目录下有个datax_web.sql 打开之后可以看到，它只有建表语句，没有建库语句，而数据库名
datax-web在windows上环境搭建及同步数据测试
追风筝的人博客
08-14 9114
datax-web部署说明： datax-web是一个集成datax和xxljob定时任务优秀的同步数据库开源框架。data-web开源地址：https://github.com/WeiYe-Jing/datax-web DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数.
datax-web
bswsf的专栏
06-16 1459
（此处datax-admin设定的端口需要与datax-executor中配置的admin.addresses端口完全一致，否则会导致执行器无法正确注册，datax-executor的端口可以自行配置，但是不能与datax-executor配置的executor.port重复，否则会发生端口被占用的情况，此处还不是明白为啥一个程序要两个端口）总结：datax-web 相当如给datax提供了界面话的一些功能和监控。可以结合使用，反正datax-web是依赖datax的。
datax安装部署使用 windows
bswsf的专栏
06-16 3178
通过querysql方式"job": {"speed": {},],},
linux安装datax和datax_web
08-25
要在Linux上安装DataX和DataX Web，您可以按照以下步骤进行操作： 1. 安装Java：DataX是基于Java开发的，所以首先需要安装Java运行环境。您可以使用以下命令来安装OpenJDK（Java的一个开源实现）： ``` sudo apt update sudo apt install openjdk-8-jdk ``` 2. 下载DataX：您可以从DataX的官方GitHub页面（https://github.com/alibaba/DataX）上下载DataX的最新版本。使用以下命令将其下载到您的Linux系统中： ``` wget https://github.com/alibaba/DataX/archive/refs/tags/vx.x.x.tar.gz ``` 3. 解压DataX：使用以下命令解压下载的DataX压缩包： ``` tar -zxvf vx.x.x.tar.gz ``` 4. 配置DataX：进入解压后的DataX目录，并编辑`job`目录下的配置文件`job.json`，根据您的需要配置数据源和目标源的连接信息。 5. 运行DataX：使用以下命令启动DataX并执行数据迁移任务： ``` cd DataX-x.x.x python bin/datax.py job/job.json ``` 至此，您已成功在Linux上安装和运行DataX。 如果您还希望安装DataX Web，可以按照以下步骤进行操作： 1. 安装Python和pip：DataX Web是基于Python和Flask框架开发的，所以需要安装Python和pip包管理工具。使用以下命令安装： ``` sudo apt install python3 python3-pip ``` 2. 下载DataX Web：您可以从DataX Web的官方GitHub页面（https://github.com/WeiYe-Jing/datax-web）下载最新版本。使用以下命令将其下载到您的Linux系统中： ``` wget https://github.com/WeiYe-Jing/datax-web/archive/refs/tags/vx.x.x.tar.gz ``` 3. 解压DataX Web：使用以下命令解压下载的DataX Web压缩包： ``` tar -zxvf vx.x.x.tar.gz ``` 4. 安装依赖：进入解压后的DataX Web目录，使用pip安装所需的依赖包： ``` cd datax-web-x.x.x pip3 install -r requirements.txt ``` 5. 配置DataX Web：编辑`config.py`文件，根据您的需要配置数据库连接等信息。 6. 初始化数据库：使用以下命令初始化数据库： ``` python3 manage.py db init python3 manage.py db migrate python3 manage.py db upgrade ``` 7. 启动DataX Web：使用以下命令启动DataX Web服务： ``` python3 manage.py runserver ``` 现在，您可以通过访问`http://localhost:8888`在浏览器中访问DataX Web界面，并使用DataX Web来执行和管理数据迁移任务。 希望对您有所帮助！如有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值