datax工具使用

最新推荐文章于 2024-04-02 09:26:04 发布
最新推荐文章于 2024-04-02 09:26:04 发布
阅读量497 收藏
点赞数
分类专栏： 运维 文章标签： hdfs rds mysql linux devops tooling
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengge2/article/details/114588965
版权

1. datax工具准备

本篇直接介绍贴几个datax写入数据的模板文件
起码准备一个datax工具，去人家官网下载一下吧，我这里贴上工具还的费劲网速下载耽误时间，不如各位老板去人家官网下载就好啦
现在阿里云datax工具上一篇文章有介绍这里不再废话叨叨啦：
https://blog.csdn.net/pengge2/article/details/114585863

为了避免有些老板急性子，懒得翻文章，这里还是再次贴一下下载地址吧：
准备datax工具
首先准备阿里的datax工具官网下载安装编译即可
https://github.com/alibaba/DataX
download 地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
Write elasticsearch plugin模块需要单独编译才能使用，使用需要下拉elastic的源码进行编译如下：
下载二进制文件之后，使用命令为：
python /data/datax/datax/bin/datax.py test.json
python为linux系统默认2.7.5版本即可
datax py为启动脚本文件
test.json为写入数据对应的数据模板文件

2. 各种类型的写入数据

Datax工具使用
1.	准备datax工具
2.	Drds写入drds 考虑的场景是百亿大数据量场景的迁移方案，会比navicat数据库迁移稍微快半小时
 cat > drds-drds.json<<EOF
> {
>         "job": {
>         "setting": {
>             "speed": {
>                 "channel": 8,
>                 "record": 1,
>                 "byte":-1
>             },
>             "errorLimit": {
>                 "record": 0,
>                 "percentage": 0.02
>             }
>         }
>     },
>         "content": [
>             {
>                 "reader": {
>                     "name": "drdsreader",
>                     "parameter": {
>                         "username": "drds_crm_dev_jt_lydb",
>                         "password": "Wc123456",
>                         "column": [
>                             {
>                             "MEMBER_ID",
>                             "MOBILE",
>                             "CITY"
>                             }
>                         ]
>                      ],
>                         "connection":[
>                             {
>                                 "table": [
>                                     "ly_member_test_1"
>                                          ],
>                                 "jdbcUrl":[
>   "jdbc:mysql://192.168.108.119:3306/drds_crm_dev_jt_lydb"
>                                           ]
>                             }
>                                      ]
>                     }
>                 }
>              },
>                 "writer": {
>                     "name": "drdswriter",
>                     "parameter": {
>                         "username": "drds_crm_dev_jt_lydb",
>                         "password": "Wc123456",
>                         "column": [
>                             "MEMBER_ID",
>                             "MOBILE",
>                             "CITY"
>                                   ],
>                         "connection": [
>                             {
>                                 "jdbcUrl": "jdbc:mysql://192.168.108.119:3306/drds_crm_sit_jt_lydb?useUnicode=ture&characterEncoding=gbk",
>                                 "table": [
>                                      "ly_member_test_2"
>                                          ]
>                             }
>                                       ]
>                     }
>                 }
>
> }
>
> EOF
3. mysql（rds）写入es
 cat > rds-es.json <<EOF
> {
>     "job": {
>         "setting": {
>             "speed": {
>                  "channel":1
>             }
>         },
>         "content": [
>             {
>                 "reader": {
>                     "name": "mysqlreader",
>                     "parameter": {
>                         "username": "zabbix",
>                         "password": "zabbix",
>                         "connection": [
>                             {
>                                 "querySql": [
>                                     "select * from trends;"
>                                 ],
>                                 "jdbcUrl": [
>                                     "jdbc:mysql://192.168.248.171:3306/zabbix"
>                                 ]
>                             }
>                         ]
>                     }
>                 },
>         "writer": {
>           "name": "elasticsearchwriter",
>           "parameter": {
>             "endpoint": "http://192.168.248.175:9200",
>             "accessId": "root",
>             "accessKey": "root",
>             "index": "test",
>             "type": "default",
>             "cleanup": true,
>             "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
>             "discovery": false,
>             "batchSize": 1000,
>             "splitter": ",",
>             "column": [
>                        {"name":         "cust_code","type":"text"},
>                        {"name":         "member_id","type":"text"},
> 							.....中间有一坨99个字段懒得贴了太长老板们看的也费劲
>                        {"name":       "statis_time","type":"text"}
>             ]
>           }
>         }
>       }
>     ]
>   }
> }
> EOF 
4. drds写入es
cat > test << EOF
> {
>     "job": {
>         "setting": {
>         },
>         "content": [
>             {
>                 "reader": {
>                     "name": "drdsreader",
>                     "parameter": {
>                         "username": "root",
>                         "password": "root",
>                         "where": "",
>                         "connection": [
>                             {
>                                 "querySql": [
>                                     "select db_id,on_line_flag from db_info where db_id < 10;"
>                                 ],
>                                 "jdbcUrl": [
>                                     "jdbc:drds://localhost:3306/database"]
>                             }
>                         ]
>                     }
>                 },
>         "writer": {
>           "name": "elasticsearchwriter",
>           "parameter": {
>             "endpoint": "http://192.168.248.175:9200",
>             "accessId": "root",
>             "accessKey": "root",
>             "index": "test",
>             "type": "default",
>             "cleanup": true,
>             "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
>             "discovery": false,
>             "batchSize": 1000,
>             "splitter": ",",
>             "column": [
>                        {"name":         "cust_code","type":"text"},
>                        {"name":         "member_id","type":"text"},
							.....中间有一坨99个字段
>                        {"name":       "statis_time","type":"text"}
>             ]
>           }
>         }
>       }
>     ]
>   }
> }EOF
5. csv写入txt
cat >test << EOF
> {
>     "setting": {},
>     "job": {
>         "setting": {
>             "speed": {
>                 "channel": 2
>             }
>         },
>         "content": [
>             {
>                 "reader": {
>                     "name": "txtfilereader",
>                     "parameter": {
>                         "path": ["/data/datax/job/csv-txt/data/es.csv"],
>                         "encoding": "UTF-8",
>                                         "column": ["*"],
>                         "fieldDelimiter": ","
>                     }
>                 },
>                 "writer": {
>                     "name": "txtfilewriter",
>                     "parameter": {
>                         "path": "/data/datax/job/csv-txt/result/pengge.txt",
>                         "fileName": "pengge",
>                         "writeMode": "truncate",
>                         "format": "yyyy-MM-dd"
>                     }
>                 }
>             }
>         ]
>     }
> }
>
> EOF



6. hdfs写入es
cat > test << EOF
> {
>   "job": {
>     "setting": {
>       "speed": {
>         "channel": 8
>       }
>     },
>     "content": [
>       {
>         "reader": {
>           "name":"hdfsreader",
>           "parameter": {
>               "path":["/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000000_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000001_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000002_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000003_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000004_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000005_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000006_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000007_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000008_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000009_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000010_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000011_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000012_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000013_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000014_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000015_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000016_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000017_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000018_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000019_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000020_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000021_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000022_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000023_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000024_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000025_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000026_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000027_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000028_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000029_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000030_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000031_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000032_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000033_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000034_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000035_0","/inceptorsql6/user/hive/warehouse/bloc.db/aicrm/st_bloc_cust_info_index_yyyymmdd/month_id=202012/day_id=20201231/000036_0"],
>               "defaultFS":"hdfs://nameservice1",
>                         "hadoopConfig":{
>                             "dfs.nameservices":"nameservice1",
>                             "dfs.namenode.rpc-address.nameservice1.nn1":"crmnn1:8020",
>                             "dfs.namenode.rpc-address.nameservice1.nn2":"crmnn2:8020",
>                             "dfs.ha.namenodes.nameservice1":"nn1,nn2",
>                             "dfs.client.failover.proxy.provider.nameservice1":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
>                         },
>               "column":["*"],
>               "fileType":"orc",
>               "encoding":"UTF-8",
>               "fieldDelimiter":",",
>               "haveKerberos":"true",
>               "kerberosKeytabFilePath":"/home/aicrm/dacp/dacp-dp-3.0.0/aicrm.keytab",
>               "kerberosPrincipal":"aicrm@CRMTDH"
>             }
>         },
>         "writer": {
>                 "name": "elasticsearchwriter",
>                 "parameter": {
>                     "endpoint": "http://10.1.182.126:9200",
>                     "accessId": "admin",
>                     "accessKey": "123456",
>                     "index": "jt-cust-tag-v2",
>                     "type": "default",
>                     "cleanup":true,
>                     "settings": {
>                         "index": {
>                             "number_of_shards": 12,
>                             "number_of_replicas": 1
>                         }
>                     },
>                     "discovery": false,
>                     "batchSize": 2048,
>                     "trySize":50,
>                     "splitter": ",",
>             "column": [
>                        {"name":         "cust_code","type":"text"},
>                        {"name":         "member_id","type":"text"},
							.....中间有一坨99个字段
>                        {"name":       "statis_time","type":"text"}
>             ]
>           }
>         }
>       }
>     ]
>   }
> }
> EOF

关键点就是对应的模板对应的写入字段，格式，逗号之类的调试问题，上面贴的json内容可以根据自己的运行环境大概的改吧改吧就得了
对了在贴一下在线的json文件格式校验的网站：
http://www.kjson.com
方便各位老板能够愉快的解决工作中一些调皮的"小问题"

好啦，祝愿各位观看的老板，天天开心，开开心心生活，快快乐乐的工作，迎接美好的每一天~~

pengge2
关注
专栏目录
数据同步工具datax
10-11
linux datax 同步工具离线数据同步工具，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Github地址：...
【转】dataX简介
hero_xsx的博客
10-29 745
本文为转载文，原文链接为https://blog.csdn.net/u014646662/article/details/82792725 一. DataX3.0概览 二、DataX3.0框架设计 三. DataX3.0插件体系 四、DataX3.0核心架构 五、DataX 3.0六大核心优势 对人工智能感兴趣的同学，可以点击以下链接： 现在人工智能非常火爆，很多朋友都想学，但是一般的教程都是为博...
Datax往ClickHouse数据库插入数据前执行truncate table遇到超时问题Read timed out
qq_45124566的博客
01-11 2682
该问题是由于数据量过大(也有可能是网络问题)，处理请求太久，导致 ClickHouse 连接超时，建议在 ClickHouse 链接字符串后面加上参数：`?socket_timeout=600000`
datax同步前先删除数据
qq_30908729的博客
11-04 3704
datax先删除数据再同步 解决方法： 在json文件中的writer中添加属性preSql即可，如果全量同步就用truncate，增量同步就用delete的sql即可。具体配置可参考：http://www.yayihouse.com/yayishuwu/chapter/3077
DataX相关问题
Egbert_sgy的博客
07-23 191
DataXDataX进行传输 DataX进行传输 编辑语句： { "core":{ "transport":{ "channel":{ "speed":{ "channel":2, "record":-1, "byte":-1, "batchSize":2048
DataX系列4-TxtFileWriter介绍
只是甲的博客
12-15 4379
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 fileName3.2.3 writeMode3.2.4 fieldDelimiter3.2.5 compress3.2.6 encoding3.2.7 nullFormat3.2.8 dateFormat3.2.9 fileFormat3.2.10 header3.3 类型转换四. 测试案例4.1 数据准备4.2 json文件准备4.3 运行脚本参考: 一. 快速介绍   实际生产中，鉴于数
DataX入门使用
05-30
### DataX入门使用详解 #### 一、DataX概述 DataX是一款由阿里巴巴开源的异构数据源离线同步工具，旨在实现不同类型的数据库及文件系统之间的高效数据同步。其支持的关系型数据库包括MySQL、Oracle等，同时也支持...
阿里开源ETL工具DATAX
05-29
阿里开源的DATAX是一款强大的数据同步工具，主要应用于ETL（Extract-Transform-Load）过程，旨在解决大数据环境中的数据迁移问题。它以其高效、稳定和易用的特点，被广泛应用于阿里巴巴集团内部以及众多外部企业。 ...
datax使用python3的替换bin文件
01-05
在IT行业中，DataX是一个广泛使用的数据同步工具，它能够高效地进行大数据迁移，支持多种数据源间的双向数据同步。通常，DataX是用Java编写的，但有时我们需要结合Python来实现更灵活的数据处理和定制化需求。在这个...
datax安装使用及使用过程中遇到的问题
热门推荐
世樹のブログ
12-30 1万+
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 相关概念和设计理念不再赘述，这里记录个人初次使用时的过程。 datax环境要求: Linux JDK(1.8以上，推荐1.8) Python(推荐Python2.6.X) Apache Mave...
使用 DataX 实现 MySQL 数据的高效同步
程序猿DD
07-14 2983
本周赠书《性能之巅》第2版我们公司有个项目的数据量高达五千万，但是因为报表那块数据不太准确，业务库和报表库又是跨库操作，所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步，但是尝试后发现这些方案都不切实际：mysqldump：不仅备份需要时间，同步也需要时间，而且在备份的过程，可能还会有数据产出（也就是说同步等于没同步）存储...
DataX的任务配置文件结构和参数说明
互联网知识分享
11-28 1544
以上配置文件描述了一个将mysql数据源中的user表中id大于100的数据同步到mysql数据目标的user_copy表中的任务。其中，读取和写入的列名、连接信息、表名都已经配置好，同时还配置了数据过滤条件、写入前后需要执行的SQL语句等。它是一个JSON格式的文件，包含了任务的各种配置信息，例如数据源、数据目标、数据同步方式、数据过滤等等。writer.parameter：数据目标的详细配置信息，包括连接信息、表信息、列信息等。column：需要写入的列名，可以是一个数组。
datax：如何使用datax
测试0901-1
04-04 527
一、如何编译 从https://github.com/alibaba/DataX将工程代码下载到本地，配置好java和maven环境，执行命令mvn -U clean package assembly:assembly -Dmaven.test.skip=true即可实现打包，执行完毕之后会在工程目录下面有一个target目录，包含有一个datax的文...
ETL工具之datax
最新发布
runqu的博客
04-02 1703
DataX是由阿里巴巴集团开发的开源数据同步工具，用于实现大数据集群内数据的离线同步。它主要用于数据仓库的数据导入和导出，如将关系型数据库中的数据导入到Hadoop集群中，或者将Hadoop集群中的数据导出到关系型数据库中。可扩展性：DataX支持多种数据源和目标的数据同步，如关系型数据库、Hadoop集群、Hive、HBase等；高性能：DataX利用多线程和流式计算技术，实现高速数据迁移；
Datax 数据同步
pdw2009的专栏
06-08 3410
官方Hello入门例子{ "job": { "content": [ { "reader": { "name": "streamreader", "parameter": { "sliceRecordCount": 10, "colu
基于DataX完成数据导入-全量覆盖方案
t_813的博客
01-30 1262
我们开发中 在ods层会使用 : orc + zlib格式, 而其他分层则使用 orc + snappy格式。
DataX3.0离线同步工具介绍
Ch3nnn的博客
06-10 641
DataX3.0离线同步工具介绍 一. DataX3.0概览 ​DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 （这是一个单机多任务的ETL工具） 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 设计理念 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成
datax安装+配置
eagle89的专栏
03-11 1993
1、下载压缩包 下载页面地址：https://github.com/alibaba/DataX 不要在【Clone or download】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难。 而是在：【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz。解压后{datax}目录下有{bin...
DataX工具中ClickHouse包的依赖性解析
资源摘要信息:"DataX是阿里巴巴开源的一款数据同步工具，它支持在各种异构数据源之间高效地进行数据迁移和同步。ClickHouse是一款用于联机分析处理(OLAP)的列式数据库管理系统，它的特点是能够处理大量的数据，同时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值