DataX笔记1 —— JSON文件配置

最新推荐文章于 2024-03-14 10:08:42 发布
VIP文章 最新推荐文章于 2024-03-14 10:08:42 发布
阅读量2k 收藏 1
点赞数 2
分类专栏： DataX 文章标签： big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40170142/article/details/125511131
版权

DataX是阿里开源的一款兼容多源异构数据库/数据存储系统的离线数据同步工具，以框架+插件的形式开发，兼容海量数据库和存储系统。

DataX github地址 ： DataX github  

DataX的 github 仓库已经讲的非常清楚了，具体如何使用参见 md 文件，说一说今天踩的各种坑

1. 自检案例报错 

理论上自检案例报错这种情况极少出现（毕竟能开发DataX这种工具的组应该也还是相当牛逼的）。

环境：

Java : OpenJDK 11.0.18 

Python: 2.7.18 

OS: Ubuntu 18.04 

MySQL : 5.7.35   

直接下载安装包，通过filezilla上传到服务器，tar -zxvf 解压，运行自检命令 

bin/datax.py job/job.json

报错无法运行，后来经过搜索得知，是解压后的dataX文件夹中，包含很多 “ ._ ” 为前缀的文件，这些文件干扰了datax.py的运行，因此，要将 dataX文件夹下，所有以 “._” 为前缀的文件都删除 

最低0.47元/天 解锁文章
爱睡觉的考拉yxl
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
07-03
datax的json范例--datax的简单范例. 有一些解释,适用于初学者
DataX Json配置.json
01-18
datax抽取mysql表到pgsql表的json配置
datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例
最新发布
Dark_Fairy的博客
03-14 1011
4. 查看DataX配置文件模板：按自己需要填写reader和writer5. 格式示例"job": {"content": ["reader": {"name": {: ["jdbcUrl": [],"table": ["t_info"],"password""username""sa""where""column": ["id"
DataX配置文件生成器
10-11
DataX配置文件生成器
DataX批量生成json文件（java程序）
仙道Bob的专栏
07-31 8348
DataX抽数时，需要配置json文件，如果一两个可以手动配就完事了，但是如果有上百个，手动配的话就要死人了，所以简单写了个java程序，批量生成json文件，包括全量导数和增量导数。 首先，需要配一个相关参数文件，设定格式: ip|port|username|password|schema|table|target_table|splitPk|pk_column|columns|add_col...
datax数据抽取csv到mysql
W___W__W的博客
02-23 1531
datax数据抽取 执行python datax.py -r streamreader -w streamwriter命令得到job的json模板 ![在这里插入图片描述](https://img-blog.csdnimg.cn/893860a55d5f40778a5010c76bc8c81f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAV19fX1dfX1c=,size_20,color_FFFF
Datax json模板集合
weixin_47444415的博客
11-27 1010
{ "job": { "setting": { "speed": { "channel": 6, "byte": 8048576, "record": 10000000 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [ { "reader": { "n
DataX使用说明
此成非彼诚博客
11-08 6633
DataX使用说明
通过python3脚本生成datax配置文件（json）
weixin_45408791的博客
09-19 1590
datax,python,pymysql,python3,json
DataX
程序工厂
03-12 3540
DataX的环境搭建以及简单测试 什么是DataX DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、 HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 一、前置条件 　　JDK(1.8以上，推荐1.8) 　　Python(
datax json配置参数
weixin_40790313的博客
05-07 3247
{ "core": { "transport": { "channel": { "speed": { "byte": 10485760, //单个channel字节速度限制 "record": 100000//单个channel条数限制 } } } }, "job": { "content": [ { "reader": { "p...
datax on azkaban——datax as a service
11-03
datax基于azkaban调度的服务实现代码，0积分，需要的请自取
mysql.json datax配置下载
07-15
mysql.json datax配置下载
DataxJson文件生成示例
weixin_45793879的博客
12-11 1270
小伙伴们可以参考，具体的实现根据自己的需求修改。
Datax常用json汇总
王小行的博客
09-27 1339
Datax
DataX执行的json文件详细解析
qq_43523503的博客
03-06 7103
1.3 DataX执行的json文件解析 { job: //最外侧，任务 setting:{ //设置 speed:{ //速度 channel:3 //指定用几个子线程去跑这个任务，线程越多，速度越快 content:{ //内容 reader:{ //读数据部分 name:"hdfsreader" //指明什么类型的reader，hdfsreader读HDFS parameter:{ //参数 pa
Datax Json文件配置解决文本限定符问题
weixin_45793879的博客
12-14 1084
Datax Json 文件 csvReaderConfig 配置
数据同步神器——DataX 的源码学习
明月朗，潇水寒
04-18 3948
DataX的源码学习
Datax job.json配置文件模板说明
秃头的博客
08-10 3749
json配置文件模板说明 { "job": { "content": [ { "reader": { "name": "mysqlreader", "parameter": { "querySql": "", #自定义sql,支持多表关联，当用户配置querySql时，直接忽略table、column、
datax 的json文件的各项配置说明和案例
09-14
### 回答1： 您好，Datax JSON文件的配置说明和案例可以在官方文档中找到：https://github.com/alibaba/DataX/tree/master/doc/configure_details。它提供了许多有用的信息，可以帮助您了解如何使用Datax来配置JSON文件。 ### 回答2： datax是一个开源的数据同步工具，它支持多种数据源和目的地的数据同步，其中的json配置文件是用来描述任务流程和数据源/目的地信息的。 在datax的json配置文件中，主要包含以下几个重要配置项： 1. job：表示datax的一个任务，包含setting和content两个子配置项。 - setting：设置任务的全局参数，可以设置并发度、并行度、执行模式等。 - content：描述任务流程的数据处理步骤，包括读取数据源、处理数据和写入目的地等。 2. reader：数据源的配置项，用于读取数据。根据不同的数据源类型，reader的配置项也会有所不同。例如，对于关系型数据库的读取，需要指定数据库类型、连接信息和查询语句等。 3. writer：目的地的配置项，用于写入数据。同样根据目的地的类型不同，writer的配置项也会有所差异。例如，对于关系型数据库的写入，需要指定数据库类型、连接信息和写入表名等。 除了上述基本配置项外，datax的json配置文件还可以包含一些高级配置项，例如： - transformer：数据转换器，用于对数据进行加工和转换。 - jobinfo：任务运行信息，包括任务的启动时间、结束时间和执行状态等。 - speed：数据传输速度的控制，可以设置读写速率的上限。 以下是一个datax的json配置文件的示例： { "job": { "setting": { "speed": { "record": 1000 } }, "content": [ { "reader": { "name": "mysqlreader", "parameter": { "username": "root", "password": "password123", "column": [ "id", "name", "age" ], "connection": [ { "querySql": [ "SELECT * FROM user" ], "jdbcUrl": [ "jdbc:mysql://localhost:3306/test" ] } ], "splitPk": "", "where": "", "fetchSize": 1024 } }, "writer": { "name": "mysqlwriter", "parameter": { "username": "root", "password": "password123", "column": [ "id", "name", "age" ], "connection": [ { "jdbcUrl": "jdbc:mysql://localhost:3306/test" } ], "preSql": [ "truncate table user" ], "postSql": [], "writeMode": "insert" } } } ] } } 在这个示例中，配置了一个从MySQL数据库读取数据，并写入到另一个MySQL数据库的任务。其中，reader使用的是mysqlreader插件，writer使用的是mysqlwriter插件。连接信息、查询语句、字段映射等都在配置项中进行了设置。此外，还设置了数据读取速率控制、写入模式等参数。 ### 回答3： datax是阿里巴巴开源的一款数据同步工具，支持从不同数据源（如关系型数据库、Hadoop、HBase等）抽取、转换和加载数据，并将其同步到其他数据源中。datax的配置文件是以json格式编写的，下面是json文件的各项配置说明和案例示例： 1. job - job是datax配置中的根节点，其中包含了任务相关的配置信息。 - 示例：{"job": {...}} 2. setting - setting是job节点下的子节点，用于配置一些通用设置，如错误限制和并发控制。 - 示例：{"setting": {"errorLimit": {"record": 0, "percentage": 0.02}, "speed": {"channel": 3}}} 3. content - content是job节点下的子节点，用于配置具体的任务内容。 - 示例：{"content": [{"reader": {...}, "writer": {...}}]} 4. reader - reader用于配置数据读取相关的信息，如数据源、读取字段和查询条件等。 - 示例：{"reader": {"name": "mysqlreader", "parameter": {"username": "root", "password": "123456", "column": ["id", "name"], "connection": [{"jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": ["user"]}]}} 5. writer - writer用于配置数据写入相关的信息，如数据目标、写入字段等。 - 示例：{"writer": {"name": "mysqlwriter", "parameter": {"username": "root", "password": "123456", "column": ["id", "name"], "connection": [{"jdbcUrl": "jdbc:mysql://localhost:3306/test", "table": ["user"]}]}} 以上为datax的json文件的一些常用配置说明和案例示例，实际应用中根据具体的数据同步需求进行相应的配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值