datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例

已于 2024-03-14 10:32:48 修改
阅读量1.2k 收藏 24
点赞数 19
文章标签： linux 运维 服务器 数据库 大数据
于 2024-03-14 10:08:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dark_Fairy/article/details/136697701
版权

一、安装部署

1. 上传安装包至服务器目录

2. 解压tar -zxvf datax.tar.gz -C data/module/

3. 执行以下代码自检，出现以下图片说明成功

python bin/datax.py  job/job.json

4. 查看DataX配置文件模板：按自己需要填写reader和writer

python bin/datax.py -r mysqlreader -w hdfswriter

5. 格式示例

{
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:sqlserver://hadoop103:1433;DatabaseName=test"
                ],
                "table": [
                  "t_info"
                ]
              }
            ],
            "password": "yH5nm57BSkFjmL8rBpRH",
            "username": "sa",
            "where": "datediff(day,startTime,getdate())=0",
            "column": [
              "id",
              "order_date",
              "purchaser",
              "quantity",
              "product_id"
            ]
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "column": [
              "id",
              "order_date",
              "purchaser",
              "quantity",
              "product_id"
            ],
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8",
                "table": [
                  "t_info"
                ]
              }
            ],
            "password": "123321",
            "preSql": [
              "delete from t_info WHERE order_date = CURDATE();"
            ],
            "session": [],
            "username": "root",
            "writeMode": "insert"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "5"
      }
    }
  }
}

 二、生成json脚本

1. 生成单个datax 的json任务文件

1. 准备配置文件：datax.ini

        将reader和writer的连接信息、需要同步的表、字段及其前置语句等写在配置文件中

vim  datax.ini

; section名称
[sqlserver] 	
url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test
username = sa
password = yH5nm57BSkFjmL8rBpRH
table = t_info
column = id,order_date,purchaser,quantity,product_id
where = 

;key 只能是小写
[mysql]
url = jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8
username = root
password = 123321
table = t_info
column = id,order_date,purchaser,quantity,product_id
;preSql = delete from t_info WHERE order_date = CURDATE();
preSql = 
writeMode = insert

2. 使用python脚本，读取配置文件自动生成datax的json文件config.json

        这个json文件即datax的job任务，可以直接运行同步数据

        vim generate_json.py


import json
datax_json = {
  "job": {
    "content": [
      {
        "reader": {
          "name": "sqlserverreader",
          "parameter": {
            "connection": [
              {
                "jdbcUrl": [],
                "table": []
              }
            ],
            "password": "",
            "username": "",
            "column": []
          }
        },
        "writer": {
          "name": "mysqlwriter",
          "parameter": {
            "column": [],
            "connection": [
              {
                "jdbcUrl": "",
                "table": []
              }
            ],
            "password": "",
            "preSql": [],
            "session": [],
            "username": "",
            "writeMode": ""
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "5"
      }
    }
  }
}

def get_config():
    import configparser
    file = 'prod\datax.ini'
    con = configparser.ConfigParser()
    con.read(file, encoding='utf-8-sig')
    sections = con.sections()
    # 获取特定section
    items_sqlserver = con.items('sqlserver') 	# 返回结果为元组
    config_sqlserver = dict(items_sqlserver)

    items_mysql = con.items('mysql') 	# 返回结果为元组
    config_mysql = dict(items_mysql)
    # key 只能是小写
    return {'config_sqlserver':config_sqlserver,'config_mysql':config_mysql}

if __name__ == '__main__':
    config = get_config()

    # sqlserver reader
    datax_json['job']['content'][0]['reader']['parameter']['connection'][0]['jdbcUrl'].append(config['config_sqlserver']['url'])
    datax_json['job']['content'][0]['reader']['parameter']['connection'][0]['table'].append(config['config_sqlserver']['table'])
    datax_json['job']['content'][0]['reader']['parameter']['password'] = config['config_sqlserver']['password']
    datax_json['job']['content'][0]['reader']['parameter']['username'] = config['config_sqlserver']['username']
    datax_json['job']['content'][0]['reader']['parameter']['where'] = config['config_sqlserver']['where']
    datax_json['job']['content'][0]['reader']['parameter']['column'] = list(config['config_sqlserver']['column'].split(','))

    # mysql writer
    datax_json['job']['content'][0]['writer']['parameter']['connection'][0]['jdbcUrl'] = config['config_mysql']['url']
    datax_json['job']['content'][0]['writer']['parameter']['connection'][0]['table'].append(config['config_mysql']['table'])
    datax_json['job']['content'][0]['writer']['parameter']['password'] = config['config_mysql']['password']
    datax_json['job']['content'][0]['writer']['parameter']['username'] = config['config_mysql']['username']
    datax_json['job']['content'][0]['writer']['parameter']['preSql'].append(config['config_mysql']['presql']) # 配置里面key只能识别为小写
    datax_json['job']['content'][0]['writer']['parameter']['writeMode'] = config['config_mysql']['writemode']# 配置里面key只能识别为小写
    datax_json['job']['content'][0]['writer']['parameter']['column'] = list(config['config_mysql']['column'].split(','))


    with open ('prod\config.json', 'w') as f:
        f.write(json.dumps(datax_json))

    print(datax_json)

3. 按照步骤2生成的json文件如下所示：

{
    "job": {
        "content": [{
            "reader": {
                "name": "sqlserverreader",
                "parameter": {
                    "connection": [{
                        "jdbcUrl": ["jdbc:sqlserver://hadoop103:1433;DatabaseName=test"],
                        "table": ["t_info"]
                    }],
                    "password": "yH5nm57BSkFjmL8rBpRH",
                    "username": "sa",
                    "column": ["id", "order_date", "purchaser", "quantity", "product_id"],
                    "where": ""
                }
            },
            "writer": {
                "name": "mysqlwriter",
                "parameter": {
                    "column": ["id", "order_date", "purchaser", "quantity", "product_id"],
                    "connection": [{
                        "jdbcUrl": "jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8",
                        "table": ["t_info"]
                    }],
                    "password": "123321",
                    "preSql": [""],
                    "session": [],
                    "username": "root",
                    "writeMode": "insert"
                }
            }
        }],
        "setting": {
            "speed": {
                "channel": "5"
            }
        }
    }
}

4.  将3中的json文件放在服务器运行

将json文件放在datax的job目录下，命名为：sqlserver2mysql.json，然后执行以下命令：

python /data/module/datax/bin/datax.py --jvm="-Xms8G -Xmx8G" /data/module/datax/job/sqlserver2mysql.json
 

确认没有报错即证明脚本没有问题，可以继续编写批量生成脚本。

2.  批量生成datax的json任务文件

1. 首先需要批量生成配置文件：datax.ini

        分析：其中连接信息一般不会改变，但是库、表可能有所变化，所以需要灵活变动的是以下信息

表名可按需填写，字段名

vim generate_ini.py

待完成......

三、批量执行json job任务

1. 安装服务：yum install crontabs (一般自带)

2. crontab服务操作

  1. 启动 service crond start
  2. 关闭 service crond stop
  3. 重启service crond restart
  4. 重载配置 service crond reload
  5. 查看状态 service crond status
  6. 列出定时文件：crontab -l

3. 列出定时文件

若crontab -l 显示：

以上表明从未创建过定时任务，需要创建定时文件，但如果已有定时文件，则修改或增加定时任务即可。

4. 创建定时文件

创建定时任务，并将日志写入/data/module/datax/crontab_logs/目录

vim crontabdatax

0 1 * * * python /data/module/datax/bin/datax.py /data/module/datax/job/sqlserver2mysql.json  >> /data/module/datax/crontab_logs/log.`date +\%Y\%m\%d\%H\%M\%S` 2>&1

表示每天凌晨1点执行这个任务 

四、附达梦 datax reader 示例

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "rdbmsreader", 
                    "parameter": {
                        "column": ["SENID","TS"], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:dm://hadoop102:5236?schema=SYSDBA"], 
                                "table": ["RTSQ"]
                            }
                        ], 
                        "password": "dm123321", 
                        "username": "dm", 
                        "where": ""
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": ["senid","ts"], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8", 
                                "table": ["ods_rtsq"]
                            }
                        ], 
                    "password": "123321",
                    "preSql": [""],
                    "session": [],
                    "username": "root",
                    "writeMode": "update"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": ""
            }
        }
    }
}

Dark_Fairy
关注
  • 19
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DataX配置文件生成器
10-11
DataX配置文件生成器
DataX Json配置.json
01-18
datax抽取mysql表到pgsql表的json配置
Datax常用json汇总
王小行的博客
09-27 1351
Datax
DataxJson文件生成示例
weixin_45793879的博客
12-11 1364
小伙伴们可以参考，具体的实现根据自己的需求修改。
datax数据抽取csv到mysql
W___W__W的博客
02-23 1597
datax数据抽取 执行python datax.py -r streamreader -w streamwriter命令得到job的json模板 ![在这里插入图片描述](https://img-blog.csdnimg.cn/893860a55d5f40778a5010c76bc8c81f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAV19fX1dfX1c=,size_20,color_FFFF
Datax的json配置文件的问题
weixin_44695980的博客
07-23 3425
主要例子：eg 从Mysql库数据导入hbase中 <以Mysql库中的表中的数据全量的导入hbase>：那么rowkey的设计就很重要至少要设计一个每次都会唯一的字段设计进去，这样得到的一条数据才是所有的。比如，我们有一个字段叫：“广告ID”,这个字段是广告类型的一个唯一标识，但是我mysql库的表里面的数据肯定是有全量的数据，也就是同一广告id可能出现多次，那么为了设计唯一的一...
Python SQL查询并生成json文件操作示例
09-20
主要介绍了Python SQL查询并生成json文件操作,涉及Python基于mssqlhelper模块进行mysql数据库查询与json格式文件生成相关操作技巧,需要的朋友可以参考下
Datax安装及使用文档.doc
09-23
* 执行 DataX 任务，Cmd 命令：python I:/datax/bin/datax.py I:/datax/job/job.json，通过 python 先执行 Datax 工具的 datax.py 文件，再执行 job.json 配置的任务进行数据同步。 此外，在 Windows 平台上可能会...
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
datax的json范例
08-26
datax的简单范例. 有一些解释,适用于初学者
关于通过java调用datax,返回任务执行的方法
08-25
使用 Java 调用 DataX 并返回任务执行结果的方法 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute...
DataX_python3补丁，DataX安装（Windows版）
02-17
DataX_python3 由于python为3.7.0，所以把datax/bin目录下的三个py文件需要符合python3语法要求的文件，执行也才能不报错。 如需要，下载这三个文件替换即可。
Azkaban和datax安装文档.docx
07-09
Azkaban是一个批量工作流任务调度器，由LinkedIn公司推出，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。它的配置是通过简单的key:value对的方式，通过配置中的dependencies来设置依赖关系，这个依赖...
基于datax实现data以rpc的方式传递json配置调用推数服务.zip
最新发布
02-27
基于datax实现data以rpc的方式传递json配置调用推数服务.zip 针对datax进行2次开发，实现data 以rpc的方式传递json配置调用推数服务，同时修复datax多处bug。项目中也引入nacos作为服务的配置中心和注册中心； 同时...
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
DataX之读取MySQL数据
docsz的博客
04-30 771
1、编写read-mysql.json脚本 { “job”: { “setting”: { “speed”: { “channel”:1 } }, “content”: [ { “reader”: { “name”: “mysqlreader”, “parameter”: { “username”: “用户名”, “password”: “密码”, “connection”: [ { “querySql”: [ “select * from emp_base_info where emp_city_code
DataX使用示例
liang_336的博客
04-16 3084
DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS等各种异构数据源之间高效的数据同步功能。 关于原理及优缺点，知乎上有博主描述：https://zhuanlan.zhihu.com/p/81817787 笔者比较赞同 阿里相关文档地址：https://github.com/alibaba/DataX ...
Datax 数据增量同步配置
weixin_47444415的博客
11-27 3705
按下图中5个步骤进行配置1.任务类型选DataX任务2.辅助参数选择时间自增3.增量开始时间选择，即sql中查询时间的开始时间，用户使用此选项方便第一次的全量同步。第一次同步完成后，该时间被更新为上一次的任务触发时间，任务失败不更新。4.增量时间字段,-DlastTime='%s' -DcurrentTime='%s' 先来解析下这段字符串1.-D是DataX参数的标识符，必配。
自动生成datax的json文件
11-11
可以使用Java程序批量生成DataX的json文件。以下是一个简单的Java程序示例，可以根据需要进行修改： ```java import java.io.File; import java.io.FileWriter; import java.io.IOException; public class GenerateDataXJson { public static void main(String[] args) { String templateFilePath = "template.json"; // 模板文件路径 String outputDirPath = "output"; // 输出目录路径 int count = 100; // 生成文件数量 for (int i = 1; i <= count; i++) { String fileName = "job_" + i + ".json"; // 文件名 String outputFilePath = outputDirPath + File.separator + fileName; // 输出文件路径 try { File outputFile = new File(outputFilePath); if (!outputFile.exists()) { outputFile.createNewFile(); } FileWriter writer = new FileWriter(outputFile); writer.write(getJsonContent(templateFilePath, i)); // 根据模板生成json内容 writer.flush(); writer.close(); } catch (IOException e) { e.printStackTrace(); } } } private static String getJsonContent(String templateFilePath, int index) throws IOException { // 根据模板文件和索引生成json内容 // 省略具体实现 return ""; } } ``` 该程序可以根据指定的模板文件和输出目录，批量生成指定数量的DataX的json文件。其中，模板文件中可以使用占位符等方式来动态生成json内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值