DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris、oracleToHDFS...)【全】

已于 2024-06-14 11:26:46 修改
阅读量511 收藏 10
点赞数 5
分类专栏： ETL 文章标签： json
于 2024-04-25 19:01:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42326851/article/details/138196858
版权

文章目录

前言

DataX 是一款由阿里巴巴开源的数据同步工具，它提供了丰富的数据源插件，支持包括但不限于 MySQL、Oracle、HDFS 等多种数据源的同步。以下是几种常见同步场景的 JSON 模板示例。

1. HDFS 到 MySQL (hdfsToMysql)

  • 当您需要将数据从 HDFS 同步到 MySQL 时，可以使用如下的 JSON 模板：
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "hdfsreader",
          "parameter": {
            "path": "/user/hive/warehouse/ads.db/ads_zhy_site_stat_di/date=${dt1}",
            "defaultFS": "hdfs://dn22:8020",
            "fileType": "parquet",
            "skipHeader": false,
            "column": [
                            {"index":"0","type":"string"},
                            {"index":"1","type":"string"},
                            {"index":"2","type":"int"},
                            {"index":"3","type":"int"},
                            { "name": "date", 
                                "type": "string",
                                "value":"${dt1}"
                            }
            ]
          }
        },
 "writer": {
          "name": "mysqlwriter",
          "parameter": {
    "writeMode": "insert",
            "username": "cnooc_fuse",
            "password": "root",
            "column": [
                    "`site_id`",
                    "`fuel_type`",
                    "`vehicle_num`",
                    "`through_vehicle_num`",
                    "`date`"

            ],
            "connection": [
              {
                "table": [
                "t_site_flow_stat_day"
                ],
                "jdbcUrl": "jdbc:mysql://172.0.0.1:8086/cnooc_fuse?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&dontTrackOpenResources=true"
              }
            ]
          }
        }

      }
    ]
,
        "setting": {
            "speed": {
                "channel": "2"
            }
        }

  }
}

1.2 HDFS 到 Oracle (hdfsToOracle)

  • 将数据从 HDFS 同步到 Oracle 的 JSON 模板如下：
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "hdfsreader",
          "parameter": {
            "path": "/user/hive/warehouse/mid.db/hky_veh_run_time/dt=${dt}",
            "defaultFS": "hdfs://nn01:8020",
            "fileType": "parquet",
            "skipHeader": false,
            "column": [
                            {"index":"0","type":"long"},
                            {"index":"1","type":"int"},
                            {"index":"2","type":"int"},
                            { "name": "dt", 
                                "type": "long",
                                "value":"${dt}"
                            }
            ]
          }
        },
        "writer": {
          "name": "oraclewriter",
          "parameter": {
            "username": "root",
            "password": "root",
            "column": [
                    "TRANS",
                    "AD_CODE",
                    "RUN_TIME",
                    "DT"
            ],
            "connection": [
              {
                "table": [
                "HKY_VEH_RUN_TIME"
                ],
                "jdbcUrl": "jdbc:oracle:thin:@172.0.0.1:1521:rdt1"
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "2"
      }
    }
  }
}

1.3 HDFS 到 人大金仓 (hdfsToKingbasees)

  • 当您需要将数据从 HDFS 同步到 人大金仓 时，可以使用如下的 JSON 模板：
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "hdfsreader",
          "parameter": {
            "path": "/user/hive/warehouse/ads.db/ads_zhy_site_owner_di/date=${dt1}",
            "defaultFS": "hdfs://dn22:8020",
            "fileType": "parquet",
            "skipHeader": false,
            "column": [
              {
                "index": "0",
                "type": "string"
              },
              {
                "index": "1",
                "type": "string"
              },
              {
                "index": "2",
                "type": "int"
              },
              {
                "index": "3",
                "type": "string"
              },
              {
                "name": "date",
                "type": "string",
                "value": "${dt1_str}"
              }
            ]
          }
        },
        "writer": {
          "name": "kingbaseeswriter",
          "parameter": {
            "username": "root",
            "password": "root",
            "column": [
              "`site_id`",
              "`owner_id`",
              "`vehicle_num`",
              "`fuel_type`",
              "`date`"
            ],
            "connection": [
              {
                "table": [
                  "t_site_flow_owner_day"
                ],
                "jdbcUrl": "jdbc:kingbase8://172.0.0.1:8086/cnooc_fuse"
              }
            ]
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "2"
      }
    }
  }
}

1.4 HDFS 到 Doris (hdfsToDoris)

  • 当您需要将数据从 HDFS 同步到 Doris 时，可以使用如下的 JSON 模板：
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "hdfsreader",
          "parameter": {
            "path": "/user/hive/warehouse/dws.db/dws_zqxk_gnss_vehicle_operation_di/data_time=${dt1}",
            "defaultFS": "hdfs://dn22:8020",
            "fileType": "parquet",
            "skipHeader": false,
            "column": [
             {
              "name": "data_time",
              "type": "int",
              "value": "${dt1}"
             },
             {"index":"0","type":"int"},
             {"index":"1","type":"int"},
             {"index":"2","type":"int"},
             {"index":"3","type":"int"},
             {"index":"4","type":"int"},
             {"index":"5","type":"string"},
             {"index":"6","type":"int"},
             {"index":"7","type":"string"},
             {"index":"8","type":"string"},
             {"index":"9","type":"int"},
             {"index":"10","type":"int"},
             {"index":"11","type":"int"}
            ]
          }
        },
 "writer": {
 
          "name": "doriswriter",
          "parameter": {
            "loadUrl": [
              "172.0.0.1:8030"
            ],
            "loadProps": {
              "format": "json",
              "strip_outer_array": true
            },
            "column": [
					"data_time",
					"access_province_code",
					"strain_code",
					"fuel_type",
					"emission_standard",
					"market_segment",
					"access_province_name",
					"kingpin_area",
					"company_name",
					"brand_name",
					"run_time",
					"run_mileage",
					"vehicle_num"
                          ],
            "username": "root",
            "password": "xxxx",
            "postSql": [],
            "preSql": [],
            "flushInterval": 30000,
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://172.0.0.0:9030/dws",
                "selectedDatabase": "dws",
                "table": [
                  "dws_gnss_vehicle_operation_di"
                ]
              }
            ]
          }
        }
      }
    ]
,
        "setting": {
            "speed": {
                "channel": "2"
            }
        }

  }
}

2. MySQL 到 HDFS (mysqlToHdfs)

  • 从 MySQL 同步数据到 HDFS 的 JSON 模板示例：
{
    "job": {
        "content": [
            {
		"reader": {
			"name": "mysqlreader",
			"parameter": {
				"username": "cnooc_fuse",
				"password": "root",
				"connection": [{
					"querySql": [
						"SELECT id,site_name,area_type,province,city,site_type,company_name,tel,lon,lat,is_cnooc,address, section_code,road_type,road_name,site_state,
recommend_type, manage_type, remark, note, create_user,create_time, update_user, update_time, is_deleted
	FROM t_site_new "
					],
					"jdbcUrl": [
						"jdbc:mysql://172.0.0.1:8086/cnooc_fuse?allowLoadLocalInfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false"
					]
				}]
			}
		},
                "writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "column": [
					{
						"name": "id",
						"type": "int"
					},
					{
						"name": "site_name",
						"type": "string"
					},
					{
						"name": "area_type",
						"type": "int"
					},
					{
						"name": "province",
						"type": "int"
					},
					{
						"name": "city",
						"type": "int"
					},
					{
						"name": "site_type",
						"type": "int"
					},
					{
						"name": "company_name",
						"type": "string"
					},
					{
						"name": "tel",
						"type": "string"
					},
					{
						"name": "lon",
						"type": "double"
					},
					{
						"name": "lat",
						"type": "double"
					},
					{
						"name": "is_cnooc",
						"type": "int"
					},
					{
						"name": "address",
						"type": "string"
					},
					{
						"name": "section_code",
						"type": "string"
					},
					{
						"name": "road_type",
						"type": "string"
					},
					{
						"name": "road_name",
						"type": "string"
					},
					{
						"name": "site_state",
						"type": "string"
					},
					{
						"name": "recommend_type",
						"type": "string"
					},
					{
						"name": "manage_type",
						"type": "string"
					},
					{
						"name": "remark",
						"type": "string"
					},
					{
						"name": "note",
						"type": "string"
					},
					{
						"name": "create_user",
						"type": "string"
					},
					{
						"name": "update_user",
						"type": "string"
					},
					{
						"name": "create_time",
						"type": "string"
					},
					{
						"name": "update_time",
						"type": "string"
					},
					{
						"name": "is_deleted",
						"type": "int"
					}
                        ],
						"compress": "snappy",
						"defaultFS": "hdfs://nn01:8020",
						"fieldDelimiter":",",
						"fileName": "datax",
						"fileType": "parquet",
                        "path": "/user/hive/warehouse/ods.db/ods_tran_logistics_site/",
                        "writeMode": "truncate"
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}

3. Oracle 到 Doris (oracleToDoris)

  • 将数据从 Oracle 同步到 Doris 的 JSON 模板：
{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      },
      "errorLimit": {
        "record": 0,
        "percentage": 0
      }
    },
    "content": [
      {
        "reader": {
          "name": "oraclereader",
          "parameter": {
            "column": [
"SERIAL_ID",
"CYCLE",
"REGION_CODE",
"TYPE",
"SRC_REGION",
"DST_REGION",
"SRC_TIME",
"HB_TIME",
"STATUS",
"CREATE_TIME"
            ],
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:oracle:thin:@//172.0.0.1:32021/s_tsshprod"
                ],
                "table": [
                  "HEART_BEAT_INFO"
                ]
              }
            ],
            "password": "root",
            "splitPk": "",
            "username": "tssh",
            "where": "1=1 and CREATE_TIME >= TO_DATE('${dt}', 'YYYY-MM-DD HH24:MI:SS') - INTERVAL '1:10' HOUR TO MINUTE"
          }
        },
        "writer": {
          "name": "doriswriter",
          "parameter": {
            "loadUrl": [
              "172.0.0.1:8030"
            ],
            "loadProps": {
              "format": "json",
              "strip_outer_array": true
            },
            "column": [
"serial_id",
"cycle",
"region_code",
"type",
"src_region",
"dst_region",
"src_time",
"hb_time",
"status",
"create_time"
            ],
            "username": "yunwei",
            "password": "root",
            "postSql": [],
            "preSql": [],
            "flushInterval": 30000,
            "connection": [
              {
                "jdbcUrl": "jdbc:mysql://172.0.0.1:9030/collect",
                "selectedDatabase": "collect",
                "table": [
                  "dl_01_heart_beat_info"
                ]
              }
            ]
          }
        }
      }
    ]
  }
}

3.1 Oracle 到 HDFS (oracleToHDFS)

  • 将数据从 Oracle 同步到 HDFS 的 JSON 模板：
{
  "job": {
    "content": [
      {
        "reader": {
          "name": "oraclereader",
          "parameter": {
            "column": [
              "code",
              "parent_code",
              "ancestors",
              "name",
              "province_code",
              "province_name",
              "city_code",
              "city_name",
              "district_code",
              "district_name",
              "town_code",
              "town_name",
              "village_code",
              "village_name",
              "region_level",
              "sort",
              "remark"
            ],
            "connection": [
              {
                "jdbcUrl": [
                  "jdbc:oracle:thin:@172.0.0.1:1521:rdt1"
                ],
                "table": [
                  "BLADE_REGION"
                ]
              }
            ],
            "username": "errtrans",
            "password": "errtrans",
            "splitPk": "",
            "where": "1=1",
            "encoding": "UTF-8"
          }
        },
        "writer": {
          "name": "hdfswriter",
          "parameter": {
            "column": [
              {
                "name": "code",
                "type": "string"
              },
              {
                "name": "parent_code",
                "type": "string"
              },
              {
                "name": "ancestors",
                "type": "string"
              },
              {
                "name": "name",
                "type": "string"
              },
              {
                "name": "province_code",
                "type": "string"
              },
              {
                "name": "province_name",
                "type": "string"
              },
              {
                "name": "city_code",
                "type": "string"
              },
              {
                "name": "city_name",
                "type": "string"
              },
              {
                "name": "district_code",
                "type": "string"
              },
              {
                "name": "district_name",
                "type": "string"
              },
              {
                "name": "town_code",
                "type": "string"
              },
              {
                "name": "town_name",
                "type": "string"
              },
              {
                "name": "village_code",
                "type": "string"
              },
              {
                "name": "village_name",
                "type": "string"
              },
              {
                "name": "region_level",
                "type": "int"
              },
              {
                "name": "sort",
                "type": "int"
              },
              {
                "name": "remark",
                "type": "string"
              }
            ],
            "compress": "snappy",
            "defaultFS": "hdfs://dn22:8020",
            "fieldDelimiter": ",",
            "fileName": "datax",
            "fileType": "parquet",
            "path": "/user/hive/warehouse/dim.db/dim_region",
            "writeMode": "truncate",
            "encoding": "UTF-8"
          }
        }
      }
    ],
    "setting": {
      "speed": {
        "channel": "2"
      }
    }
  }
}

总结

如果此篇文章有帮助到您, 希望打大佬们能关注、点赞、收藏、评论支持一波，非常感谢大家！
如果有不对的地方请指正!!!

lfwh
关注
  • 5
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
java从键盘读入多组输入
qq_40223083的博客
09-19 3718
java从键盘读入多组输入 从键盘读入数据，一般使用的是Scanner类，当需要处理多组数据时，该怎么处理呢。比如说下面这种输入 输入描述 多组数据，每组数据两行，其中： 1.第一行为一个整数n，表示数组的元素个数。 2.第二行为n个整数(1≤n≤100000),表示数组的每个元素,数据保证在int范 围内, 且数组中没有重复元素。 题目中的数据没有总组数，也没也结束符。其实是做不出来的，这里我主动为他加了个规则，读取每组数据的元素个数遇到-1时停止。 public List<Lis
datax 模板_datax模板
weixin_39782752的博客
12-21 707
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。1. mysql2mysql.json{"job": {"setting": {"speed": {"channel": 1}},"content": [{"reader": {"name": "mysqlr...
datax扩展vertica插件
u010479989的博客
07-05 679
datax扩展vertica插件
datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例_datax的json文件自动生成
最新发布
2401_84003554的博客
05-23 740
我还通过一些渠道整理了一些大厂真实面试主要有：蚂蚁金服、拼多多、阿里云、百度、唯品会、携程、丰巢科技、乐信、软通动力、OPPO、银盛支付、中国平安等初，中级，高级Java面试题集合，附带超详细答案，希望能帮助到大家。还有专门针对JVM、SPringBoot、SpringCloud、数据库、Linux、缓存、消息中间件、源码等相关面试题。创建过定时任务，需要创建定时文件，但如果已有定时文件，则修改或增加定时任务即可。
DataX
我的笔记
03-15 1171
大数据自学笔记——DataX学习笔记
【Datax同步】json模板
cui8483的博客
02-01 341
【Datax同步】json模板
datax 模板_Datax入门 - 阿伦哥的博客 - OSCHINA - 中文开源技术交流社区
weixin_32823993的博客
12-30 118
第一步、创建创业的配置文件(json格式)可以通过命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}如：python datax.py -r streamreader -w streamwriterzlh@zlhdeMacBook-Pro:~/software/datax/bin$ python datax.py -r strea...
datax-web-2.1.2.tar.gz+datax.tar.gz
05-31
首先，我们来看一下"DataX-web-2.1.2.tar.gz"这个文件，这是DataX的Web管理界面的版本2.1.2的压缩包。DataX-web提供了图形化的操作界面，使得用户可以更加直观和便捷地配置和管理DataX任务。通过Web界面，用户可以...
datax-web-2.1.2.zip
08-14
首先，DataX 是阿里巴巴开源的离线数据同步工具，支持多种数据源之间的数据迁移，包括但不限于 MySQL、Oracle、HDFS、HBase、ADS 等。DataX Web 是 DataX 的Web版本，它将原本需要编写配置文件的任务转换为直观的...
datax-elasticsearch-master.zip
09-09
阿里巴巴Datax离线同步方案到ElasticSearch（官方由于不维护，所以没有读取/写入到ElasticSearch的方案），这里给出了读取/写入方案插件代码，直接编译出Jar包放到Datax中即可。
CDH和datax-web离线安装文档.docx
07-25
CDH6.2.0、datax-web2.1.2 离线安装文档，从本地yum源配置到数据库安装以及cdh和datax-web的安装，亲测非常详细
datax同步模板.rar
09-24
datax安装包下载，下载之后直接解压即可用
datax的json范例
08-26
datax的简单范例. 有一些解释,适用于初学者
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
DataX-master.zip
08-24
DataX是一个由阿里巴巴开源的数据同步工具，它支持多种数据源之间的数据迁移，包括MySQL、Oracle、HDFS、HBase、TableStore（OTS）、ADS等。在进行DataX开发或者部署时，通常需要对项目进行Maven编译，以便生成可...
datax oracle to oracle离线json文件
hbhe0316的专栏
10-12 304
{ "job": { "setting": { "speed": { "channel": 3, "byte": 1048576 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "name": "orac.
Oracle数据库连接生成DDL
weixin_30819085的博客
12-08 167
package com.bbkj; import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; /** * Created by Administrator on 2016/12/7. *...
datax从TDH同步数据到oracle的json模板
记录日常开发过程中遇到的一些问题
08-28 867
1、json模板： { "job": { "setting": { "speed": { "byte": 104857600 }, "errorLimit": { "record": 0 } }, "content": [{ "reader": { "name": "hdfsreader", "parameter": { "column": [{ "index": 0, "type": "str
Oracle批量生成供datax调用的json文件及可执行sh脚本
奋斗的阿杰的博客
07-10 659
Oracle批量生成json文本和sh脚本
datax-admin和datax-exe的区别，请详细说明
06-01
DataX是一个开源的数据同步工具，它可以实现不同数据源之间的数据同步，包括关系型数据库、HDFS、Hive、ODPS等。而DataX分为两个部分，分别是datax-admin和datax-exe。 datax-admin是DataX的Web管理平台，它提供了一个可视化的界面，方便用户对数据同步任务进行创建、修改、删除等操作。同时，它也提供了任务监控、日志查看等功能，方便用户对数据同步任务进行管理和调试。 而datax-exe则是DataX的执行引擎，它是实际执行数据同步任务的核心组件。它可以通过命令行或者API的方式被调用，执行数据同步任务。在执行任务时，它会根据配置文件中的信息，从源数据源读取数据，转换为目标数据源可接受的格式，最后将数据写入目标数据源。 因此，简单来说，datax-admin是DataX的管理平台，用于创建和管理数据同步任务；而datax-exe则是DataX的执行引擎，用于执行数据同步任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lfwh

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值