Datax常用json汇总

已于 2022-09-27 23:48:55 修改
阅读量1.3k 收藏 2
点赞数
分类专栏： Datax 文章标签： python
于 2022-09-27 23:47:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cloud_Wzh/article/details/127080930
版权

Datax常用json汇总

Datax执行命令

 执行命令：
 python /opt/installs/datax/datax.py   /opt/installs/hdfs2ftp.json 
 python  /opt/installs/datax/datax.py    -r ftpreader -w hdfswriter
 通过浏览器可以进行dataxweb的访问，具体地址如下：
 http://hadoop13:9527/index.html

mysql2mysql

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {  "encoding": "UTF-8",
                        "column": ["uid","nick_name","achievement","level","job","register_time"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/sqoop?characterEncoding=UTF-8"],
                                "table": ["user_info"]
                            }
                        ],
                        "password": "123456",
                        "username": "root" 
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {  "encoding": "UTF-8",
                        "column": ["uid","nick_name","achievement","level","job","register_time"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop13:3306/datax?characterEncoding=UTF-8",
                                "table": ["user_info"]
                            }
                        ],
                        "password": "123456",
                        "preSql": ["truncate table user_info"],
                        "session": [],
                        "username": "root",
                        "writeMode": "insert"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

mysql2hdfs

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/sqoop?characterEncoding=UTF-8"],
                                "querySql": [
                                    " select device_id,profile,blog_url from user_submit;"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root",
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
					"encoding": "UTF-8",
                        "column": [{
                         		"name": "d1",
                         		"type": "STRING"
                     		},
                     		{
                        		"name": "p1",
                         		"type": "STRING"
                     		} ,
                     		{
                        		"name": "b1",
                         		"type": "STRING"
                     		} 
							],
                        "compress": "",
                        "defaultFS": "hdfs://hadoop10:9000",
                        "fieldDelimiter": "\t",
                        "fileName": "user_submit",
                        "fileType": "text",
                        "path": "/in/datax/",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}

mysql2HaHdfs

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/sqoop?characterEncoding=UTF-8"],
                                "querySql": [
                                    "select device_id,profile,blog_url from user_submit;"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root",
                    }
                },
                      "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                       "column": [{
                         		"name": "d1",
                         		"type": "STRING"
                     		},
                     		{
                        		"name": "p1",
                         		"type": "STRING"
                     		} ,
                     		{
                        		"name": "b1",
                         		"type": "STRING"
                     		} 
							],
                        "compress": "",
                        "defaultFS": "hdfs://hdfs-cluster",
						"hadoopConfig":{
								"dfs.nameservices": "hdfs-cluster",
								"dfs.ha.namenodes.hdfs-cluster": "nn1,nn2",
								"dfs.namenode.rpc-address.hdfs-cluster.nn1": "hadoop11:9000",
								"dfs.namenode.rpc-address.hdfs-cluster.nn2": "hadoop12:9000",
								"dfs.client.failover.proxy.provider.hdfs-cluster": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
						},
                        "fieldDelimiter": "\t",
                        "fileName": "mysql2HA",
                        "fileType": "text",
                        "path": "/input/datax",
                        "writeMode": "append"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "3"
            }
        }
    }
}

mysql2ftp

{
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/sqoop"],
                                "querySql": [
                                    "select device_id,profile,blog_url from user_submit;"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root",
                    }
                },
                "writer": {
                    "name": "ftpwriter",
                    "parameter": {
                        "protocol": "sftp",
                        "host": "hadoop10",
                        "port": 22,
                        "username": "root",
                        "password": "123456",
                        "timeout": "60000",
                        "connectPattern": "PASV",
                        "path": "/opt/data/datax",
                        "fileName": "sqoop_mysql2ftp",
                        "writeMode": "truncate",
                        "fieldDelimiter": "\t",
                        "encoding": "UTF-8",
                        "nullFormat": "\\N",
                        "dateFormat": "yyyy-MM-dd",
                        "fileFormat": "csv",
			            "suffix": ".csv",
                        "header": []
                    }
                }
            }
        ]
    }
}

hdfs2mysql

{
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/in/datax/user_submit*",
                        "defaultFS": "hdfs://hadoop10:9000",
                        "column": [
                               {
                                "index": 0,
                                "type": "string"
                               },
                               {
                                "index": 1,
                                "type": "string"
                               },
                               {
                                "index": 2,
                                "type": "string"
                               }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t"
                    }

                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "column": ["device_id","profile","blog_url"],
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop10:3306/sqoop?characterEncoding=UTF-8",
                                "table": ["user_submit"]
                            }
                        ],
                        "password": "123456",
                        "preSql": ["truncate table user_submit"],
                        "session": [],
                        "username": "root",
                        "writeMode": "insert"
                    }
                }
            }
        ]
    }
}

ftp2hdfs

{
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
                "reader": {
                    "name": "ftpreader",
                    "parameter": {
                        "protocol": "sftp",
                        "host": "hadoop10",
                        "port": 22,
                        "username": "root",
                        "password": "123456",
                        "path": [
                            "/opt/data/dept.txt"
                        ],
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            } 
                        ],
                        "encoding": "UTF-8",
                        "fieldDelimiter": ","
                    }
                },
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [{
                         		"name": "user_id",
                         		"type": "STRING"
                     		},
                     		{
                        		"name": "user_name",
                         		"type": "STRING"
                     		} ],
                        "compress": "",
                        "defaultFS": "hdfs://hdfs-cluster",
						"hadoopConfig":{
								"dfs.nameservices": "hdfs-cluster",
								"dfs.ha.namenodes.hdfs-cluster": "nn1,nn2",
								"dfs.namenode.rpc-address.hdfs-cluster.nn1": "hadoop11:9000",
								"dfs.namenode.rpc-address.hdfs-cluster.nn2": "hadoop12:9000",
								"dfs.client.failover.proxy.provider.hdfs-cluster": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
						},
                        "fieldDelimiter": "\t",
                        "fileName": "ftp_test",
                        "fileType": "text",
                        "path": "/qwer",
                        "writeMode": "append"
                    }
                }
            }
        ]
    }
}
@莫等闲
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
DataX Json配置.json
01-18
datax抽取mysql表到pgsql表的json配置
datax的json范例
08-26
这个“datax的json范例”可能是为了展示如何配置DataX任务，特别是通过JSON格式来定义任务的具体细节。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，易于人阅读和编写，同时也方便机器解析和生成...
datax数据抽取csv到mysql
W___W__W的博客
02-23 1623
datax数据抽取 执行python datax.py -r streamreader -w streamwriter命令得到job的json模板 ![在这里插入图片描述](https://img-blog.csdnimg.cn/893860a55d5f40778a5010c76bc8c81f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAV19fX1dfX1c=,size_20,color_FFFF
DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris、oracleToHDFS...)【全】
weixin_42326851的博客
04-25 527
DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris)【全】
DataxJson文件生成示例
weixin_45793879的博客
12-11 1394
小伙伴们可以参考，具体的实现根据自己的需求修改。
一键部署，Web 可视化操作！这款 MySQL、Oracle 数据同步工具，有点牛逼
民工哥的博客
03-31 1699
支持DataX任务,Shell任务，Python任务，PowerShell任务阻塞处理策略：调度过于密集执行器来不及处理时的处理策略；单机串行：调度请求进入单机执行器后，调度请求进入FIFO队列并以串行方式运行；丢弃后续调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，本次请求将会被丢弃并标记为失败；覆盖之前调度：调度请求进入单机执行器后，发现执行器存在运行的调度任务，将会终止运行中的调度任务并清空队列，然后运行本地调度任务；增量增新建议将阻塞策略设置为丢弃后续调度或者单机串行。
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
JSON范例（以`ApplicationHistory.json`为例）通常会展示DataX任务的配置信息，这是DataX执行数据同步任务的核心部分。JSON格式因其轻量级、易于阅读和编写，成为了DataX配置文件的标准。在`ApplicationHistory.json...
mysql.json datax配置下载
07-15
mysql.json datax配置下载
linux中的datax数据同步json脚本用于同步两台互通服务器数据库上的表数据---aaa.json
06-17
linux中的datax数据同步json脚本用于同步两台互通服务器数据库上的表数据---aaa.json
六、Datax通过json字符串运行
青啊青斯博客
02-15 694
【代码】六、Datax通过json字符串运行。
datax之json格式
weixin_46327368的博客
08-10 4824
with detail as ( select '2020-01-01' as dt , 1 as dept , 1 as sale_amt union all select '2020-01-02' as dt , 1 as dept , 2 as sale_amt union all select '2020-01-03' as dt , 2 as dept , 3 as sale_amt union all select '2020-01-05' as dt , 2 as dept , 5 a
datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例_datax的json文件自动生成(1)
2301_78399616的博客
04-09 888
将reader和writer的连接信息、需要同步的表、字段及其前置语句等写在配置文件中; section名称 [sqlserver] url = jdbc:sqlserver://hadoop103:1433;DatabaseName=test username = sa password = yH5nm57BSkFjmL8rBpRH table = t_info column = id,order_date,purchaser,quantity,product_id where =;key 只能是小写
DataX执行的json文件详细解析
qq_43523503的博客
03-06 7388
1.3 DataX执行的json文件解析 { job: //最外侧，任务 setting:{ //设置 speed:{ //速度 channel:3 //指定用几个子线程去跑这个任务，线程越多，速度越快 content:{ //内容 reader:{ //读数据部分 name:"hdfsreader" //指明什么类型的reader，hdfsreader读HDFS parameter:{ //参数 pa
【Datax同步】json模板
cui8483的博客
02-01 344
【Datax同步】json模板
datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例
Dark_Fairy的博客
03-14 1322
4. 查看DataX配置文件模板：按自己需要填写reader和writer5. 格式示例"job": {"content": ["reader": {"name": {: ["jdbcUrl": [],"table": ["t_info"],"password""username""sa""where""column": ["id"
Python+datax 自动批量执行datax任务完成离线数据同步
03-10 3120
在之前的文章中我们介绍过阿里的开源离线数据同步工具——datax，我们可以使用datax来完成我们异构数据库之间的离线数据同步工作，它可以通过给予的主键（文本或数值）进行任务切分来同步进行，数据同步的效率还是非常高效的。下面，我们首先获取下json模板信息，因为我们把json都放在了这个python脚本同目录下面，因此我们使用os来获取这个脚本文件的所属文件夹绝对路径。（我这里处理的思路是统一处理同一个reader和writer的批量任务，也可以修改成不同reader和writer的批量任务）
datax 输出json
最新发布
05-10
在DataX中，输出Json的方式是一种常用的数据输出格式，它将输出的数据按照Json的格式进行组织，其中Json对象表示一行数据，Json对象中的key-value表示列名和列值。Json格式的输出方式简单明了、易于解析，因此在很多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@莫等闲

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值