datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例_datax的json文件自动生成

; section名称
[sqlserver]
url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test
username = sa
password = yH5nm57BSkFjmL8rBpRH
table = t_info
column = id,order_date,purchaser,quantity,product_id
where =

;key 只能是小写
[mysql]
url = jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8
username = root
password = 123321
table = t_info
column = id,order_date,purchaser,quantity,product_id
;preSql = delete from t_info WHERE order_date = CURDATE();
preSql =
writeMode = insert

2. 使用python脚本，读取配置文件自动生成datax的json文件config.json

这个json文件即datax的job任务，可以直接运行同步数据

vim generate_json.py

import json
datax_json = {
“job”: {
“content”: [
{
“reader”: {
“name”: “sqlserverreader”,
“parameter”: {
“connection”: [
{
“jdbcUrl”: [],
“table”: []
}
],
“password”: “”,
“username”: “”,
“column”: []
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“column”: [],
“connection”: [
{
“jdbcUrl”: “”,
“table”: []
}
],
“password”: “”,
“preSql”: [],
“session”: [],
“username”: “”,
“writeMode”: “”
}
}
}
],
“setting”: {
“speed”: {
“channel”: “5”
}
}
}
}

def get_config():
import configparser
file = ‘prod\datax.ini’
con = configparser.ConfigParser()
con.read(file, encoding=‘utf-8-sig’)
sections = con.sections()

获取特定section

items_sqlserver = con.items(‘sqlserver’) # 返回结果为元组
config_sqlserver = dict(items_sqlserver)

items_mysql = con.items(‘mysql’) # 返回结果为元组
config_mysql = dict(items_mysql)

key 只能是小写

return {‘config_sqlserver’:config_sqlserver,‘config_mysql’:config_mysql}

if name == ‘main’:
config = get_config()

sqlserver reader

datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘jdbcUrl’].append(config[‘config_sqlserver’][‘url’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_sqlserver’][‘table’])
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘password’] = config[‘config_sqlserver’][‘password’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘username’] = config[‘config_sqlserver’][‘username’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘where’] = config[‘config_sqlserver’][‘where’]
datax_json[‘job’][‘content’][0][‘reader’][‘parameter’][‘column’] = list(config[‘config_sqlserver’][‘column’].split(‘,’))

mysql writer

datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘jdbcUrl’] = config[‘config_mysql’][‘url’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘connection’][0][‘table’].append(config[‘config_mysql’][‘table’])
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘password’] = config[‘config_mysql’][‘password’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘username’] = config[‘config_mysql’][‘username’]
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘preSql’].append(config[‘config_mysql’][‘presql’]) # 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘writeMode’] = config[‘config_mysql’][‘writemode’]# 配置里面key只能识别为小写
datax_json[‘job’][‘content’][0][‘writer’][‘parameter’][‘column’] = list(config[‘config_mysql’][‘column’].split(‘,’))

with open (‘prod\config.json’, ‘w’) as f:
f.write(json.dumps(datax_json))

print(datax_json)

3. 按照步骤2生成的json文件如下所示：

{
    “job”: {
        “content”: [{
            “reader”: {
                “name”: “sqlserverreader”,
                “parameter”: {
                    “connection”: [{
                        “jdbcUrl”: [“jdbc:sqlserver://hadoop103:1433;DatabaseName=test”],
                        “table”: [“t_info”]
                    }],
                    “password”: “yH5nm57BSkFjmL8rBpRH”,
                    “username”: “sa”,
                    “column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
                    “where”: “”
                }
            },
            “writer”: {
                “name”: “mysqlwriter”,
                “parameter”: {
                    “column”: [“id”, “order_date”, “purchaser”, “quantity”, “product_id”],
                    “connection”: [{
                        “jdbcUrl”: “jdbc:mysql://hadoop102:3306/test?useUnicode=true&characterEncoding=utf-8”,
                        “table”: [“t_info”]
                    }],
                    “password”: “123321”,
                    “preSql”: [“”],
                    “session”: [],
                    “username”: “root”,
                    “writeMode”: “insert”
                }
            }
        }],
        “setting”: {
            “speed”: {
                “channel”: “5”
            }
        }
    }
}

4.  将3中的json文件放在服务器运行

将json文件放在datax的job目录下，命名为：sqlserver2mysql.json，然后执行以下命令：

python /data/module/datax/bin/datax.py --jvm=“-Xms8G -Xmx8G” /data/module/datax/job/sqlserver2mysql.json

确认没有报错即证明脚本没有问题，可以继续编写批量生成脚本。

2.  批量生成datax的json任务文件

1. 首先需要批量生成配置文件：datax.ini

分析：其中连接信息一般不会改变，但是库、表可能有所变化，所以需要灵活变动的是以下信息

表名可按需填写，字段名

vim generate_ini.py

待完成…

三、批量执行json job任务

1. 安装服务：yum install crontabs (一般自带)

2. crontab服务操作

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Python开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024c （备注Python）

最后

不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~

给大家准备的学习资料包括但不限于：

Python 环境、pycharm编辑器/永久激活/翻译插件

python 零基础视频教程

Python 界面开发实战教程

Python 爬虫实战教程

Python 数据分析实战教程

python 游戏开发实战教程

Python 电子书100本

Python 学习路线规划

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

mage/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlaTM0Nzc5NTc5MA==,size_16,color_FFFFFF,t_70)

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-PcQh7U1z-1712652735857)]