DATAX脚本编写例子

最新推荐文章于 2024-04-17 02:29:49 发布
最新推荐文章于 2024-04-17 02:29:49 发布
阅读量1.5k 收藏 1
点赞数 1
文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48645585/article/details/127082112
版权

datax任务中的json配置

- content（datax单例任务配置主体内容）
       -reader（reader的配置信息）
           -name（reader的插件名）
           -parameter（reader的具体参数）
       -writer（writer的配置信息）
           -name（writer的插件名）
           -parameter（writer的具体参数）
- setting（datax单例任务设置）

###  下载地址
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

开源地址：https://github.com/alibaba/DataX

通过以下指令登入hadoop12节点的sftp窗口sftp root@hadoop12

区分本地还是远端就看指令带不带了l

get a.txt   把hadoop12中的a.txt下载到本地
put a.txt   把本地中的a.txt下载到hadoop12上
lpwd		显示local就是本地
exit        退出登录
sftp		端口号是22
#hadoop10到hadoop12添加免密 ll ~/.ssh  有个（id_rsa.pub证明做过免密）    ssh-copy-id hadoop12即可

datax常用指令

#执行官方案例，测试datax是否可以正常工作
[root@hadoop10 conf]# python /opt/installs/datax/bin/datax.py /opt/installs/datax/job/job.json

#模板指令 （经常使用）
-- python datax.py -r streamreader -w streamwriter
#执行指令（写好的json）
python /opt/installs/datax/bin/datax.py /opt/installs/datax/job/test_job.json

#导入datax的json模板到文件mysql2hdsf.json中
python /opt/installs/datax/bin/datax.py -r mysqlreader -w hdfswriter >  /opt/installs/datax/job/test_job.json

dataxweb的启动

# 首先切换到dataxweb的项目目录中：
cd /opt/installs/datax-web-2.1.2/
# 然后运行bin目录下的启动脚本：
./bin/start-all.sh
# 需要停止服务的话可以执行bin目录中的停止脚本：
./bin/stop-all.sh
#端口地址
http://hadoop13:9527/index.html
用户名：admin
密码：123456

01打印10次自己名字

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "streamreader",
                    "parameter": {
                        "column": [
						{
							"type":"string",
							"value":"jiejunchong"
						},
						{
							"type":"long",
							"value":23
						}
						],
                        "sliceRecordCount": 20
                    }
                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "encoding": "utf-8",
                        "print": true
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

02mysql02mysql

#把hadoop10的mysql表导入到 hadoop12中的mysql表；
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": ["id","uid","nick_name","achievement","level","job","register_time"], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/test1"], 
                                "table": ["user_info"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root", 
                  
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": ["id","uid","nick_name","achievement","level","job","register_time"], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop12:3306/test_1?characterEncoding=UTF-8",
                                "table": ["user_info"]
                            }
                        ], 
                        "password": "123456", 
                        "preSql": ["truncate table user_info"], 
                        "session": [], 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

03mysql03hdfs

# hadoop10的mysql表  导入到10的hdfs上
{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/test1"],
                                "querySql": [
                                    "	select uid,case when char_length(nick_name)>13 
										then concat(SUBSTRING(nick_name,1,10),'...') else nick_name	end as nick_name
										from user_info
										where char_length(nick_name)>10;"
                                ]
                            }
                        ],
                        "password": "123456",
                        "username": "root",
                    }
                },
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
							{
                         		"name": "uid",
                         		"type": "INT"
                     		},
                     		{
                        		"name": "nick_name",
                         		"type": "VARCHAR"
                     		}
						], 
                        "compress": "", 
                        "defaultFS": "hdfs://hadoop10:9000", 
                        "fieldDelimiter": "\t", 
                        "fileName": "user_info.txt", 
                        "fileType": "text", 
                        "path": "/test_datax/mysql2hdfs", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

04mysql2ftp

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": ["id","name","age"], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://hadoop10:3306/test1?characterEncoding=UTF-8"], 
                                "table": ["t_user"]
                            }
                        ], 
                        "password": "123456", 
                        "username": "root"
                    }
                }, 
                "writer": {
                    "name": "ftpwriter", 
                    "parameter": {
                        "connectPattern": "PASV", 
                        "dateFormat": "yyyy.MM.dd", 
                        "encoding": "utf-8", 
                        "fieldDelimiter": "\t", 
                        "fileFormat": "text", 
                        "fileName": "from_mysql", 
                        "header": ["id","name","age"], 
                        "host": "hadoop12", 
                        "nullFormat": "\\N", 
                        "password": "root", 
                        "path": "/opt/data", 
                        "port": "22", 
                        "protocol": "sftp", 
                        "timeout": "600000", 
                        "username": "root", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

05ftp2hdfs(ftp-hive)

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "ftpreader", 
                    "parameter": {
                        "column": [
                            { "index":0, "type":"long"},
                            { "index":1, "type":"string"},
                            { "index":2, "type":"string"},                                     	   						 { "index": 3, "type": "data":"format":"yyyy.MM.dd"}
                        ], 
                        "encoding": "UTF-8", 
                        "fieldDelimiter": "\t", 
                        "host": "hadoop10", 
                        "password": "root", 
                        "path": ["/opt/data/from_mysql"], 
                        "port": "22", 
                        "protocol": "sftp", 
                        "username": "root",
						"skipHeader":true,
						"nullFormat":"\\n"
                    }
                }, 
                "writer": {
                    "name": "hdfswriter", 
                    "parameter": {
                        "column": [
							{"name":"col1", "type":"INT"}
							{"name":"col2", "type":"string"}
							{"name":"col3", "type":"string"}
						], 
                        "defaultFS": "hdfs://hdfs-cluster", 
                        "fieldDelimiter": ",", 
                        "fileName": "from_ftp", 
                        "fileType": "text", 
                        "path": "/from_datax", 
                        "writeMode": "append"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

06hdfs0mysql(hive-mysql)

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "hdfsreader", 
                    "parameter": {
                        "column": [
							{"index":0,"type":"long"},
							{"index":1,"type":"string"},
							{"index":2,"type":"string"}
						],
                        "defaultFS": "hdfs://hdfs-cluster", 
						"hadoopConfig":{
						"dfs.nameservices": "hdfs-cluster",
						"dfs.ha.namenodes.hdfs-cluster": "nn1,nn2",
						"dfs.namenode.rpc-address.hdfs-cluster.nn1": "hadoop11:9000",
						"dfs.namenode.rpc-address.hdfs-cluster.nn2": "hadoop12:9000",
						"dfs.client.failover.proxy.provider.hdfs-cluster": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"
						},
                        "encoding": "UTF-8", 
                        "fieldDelimiter": ",", 
                        "fileType": "text", 
                        "path": "/from_datax/from_ftp*"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": ["id","name","age"], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://hadoop12:3306/test_1?characterEncoding=UTF-8", 
                                "table": ["t_user"]
                            }
                        ], 
                        "password": "123456", 
                        "preSql": ["truncate table t_user"], 
                        "session": [], 
                        "username": "root", 
                        "writeMode": "insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}
小小介的博客
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DataX自动化生成配置json,创建ODS表,多线程调度脚本[mysql--＞hive]
qq_18453581的博客
04-15 658
结合Dolphinscheduler,自动化生成datax抽取任务json文件,自动化创建ods表,自动化多线程执行任务,支持创建hive分区表,自动创建分区,修复分区,支持kerberos认证,mysql多库多表配置
DataX-一款稳定高效的数据同步工具-从安装、启动、配置、使用总结，看这篇让你一步到位
weixin_43805705的博客
05-25 2567
DataX是阿里巴巴使用 Java 和 Python 开发的一个异构数据源离线同步工具；致力于实现包括关系型数据库MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute、DRDS等各种异结构数据源之间稳定高效的数据同步功能。 Datax-web基于datax，增加了web界面，把Datax基于命令行任务通过java代码串联了起来，并提供了可视化的任务管理。
datax 数据库同步工具 centos 下shell启动命令
11-13
在服务器端 通过.sh shell脚本启动datax工具 启动脚本放置在datax的bin目录下，进入bin目录通过./start.sh /job/json文件名称 启动datax 工具
Data-X 数据同步工具脚本笔记
Z_Flank的博客
02-25 1026
Data-X 数据同步工具脚本笔记，涉及搭建各个jar、应用下载地址。
数据同步神器——DataX 的源码学习
明月朗，潇水寒
04-18 4003
DataX的源码学习
Python+datax 自动批量执行datax任务完成离线数据同步
03-10 3065
在之前的文章中我们介绍过阿里的开源离线数据同步工具——datax，我们可以使用datax来完成我们异构数据库之间的离线数据同步工作，它可以通过给予的主键（文本或数值）进行任务切分来同步进行，数据同步的效率还是非常高效的。下面，我们首先获取下json模板信息，因为我们把json都放在了这个python脚本同目录下面，因此我们使用os来获取这个脚本文件的所属文件夹绝对路径。（我这里处理的思路是统一处理同一个reader和writer的批量任务，也可以修改成不同reader和writer的批量任务）
Shell + Datax 动态传递时间参数模式
zhouzhiwengang的专栏
02-01 2289
功能：实现当前日期：时:分：秒 减去执行周期时间（默认 ：1小时 ）至当前日期：时:分：秒 数据同步。功能：实现前一天日期 00:00:00 至前一天日期 23:59:59 数据同步。功能：实时动态传递数据同步开始时间和结束时间，实现数据同步功能。
datax的json范例
08-26
datax的简单范例. 有一些解释,适用于初学者
DataX Json配置.json
01-18
datax抽取mysql表到pgsql表的json配置
datax 一键生成python脚本
最新发布
06-08
python 脚本批量生成datax 的json 文件
datax读取InfluxDB组件
04-18
datax读取InfluxDB数据库组件
datax全流程脚本
代元培
03-11 1324
#!/bin/bash # ~/datax/bin/start_datax.sh . ~/.bashrc echo $# if [ $# -lt 1 ] then echo "need job config file" exit fi jobname="$1" taskname=`echo $(basename $jobname .xml)` echo "$jobname,t...
datax安装及批量生成json任务文件，以sqlservrreader和mysqlwriter为例_datax的json文件自动生成
2301_77100753的博客
04-17 876
将reader和writer的连接信息、需要同步的表、字段及其前置语句等写在配置文件中。④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）(img-AOvWwFcm-1713292178540)]ython基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）①　2000多本Python电子书（主流和经典的书籍应该都有了）③　项目源码（四五十个有趣且经典的练手项目及源码）⑤ Python学习路线图（告别不入流的学习）⑤ Python学习路线图（告别不入流的学习）
服务器部署datax+使用Python脚本导数+项目数据
qq_43476430的博客
04-13 5300
一、在服务器上部署Datax 1、将安装包解压至app下 [peizk@hadoop app]$ tar -zxvf datax.tar.gz -C ~/app/ 2、配置环境变量 [root@hadoop ~]# vim /etc/profile 添加如下 #DATAX_HOME export DATAX_HOME=/home/peizk/app/datax export PATH=$PATH:$DATAX_HOME/bin 不要忘记source！！！ 3、执行一下官方例子
Datax入门使用
qq_44134480的博客
04-23 9572
DataX入门使用 一、简介 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。Datax将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件
oozie中管理datax脚本方法实践
莫莫绵的博客
03-27 3818
主要使用oozie的ssh-action来执行某个服务器上的脚本，不用把脚本和datax放到hdfs。 主要解决了以下问题 1：安装oozie Failed to install Oozie ShareLib 2：时区 3：Output data exceeds its limit 和 stream exceeds limit 4：datax命令那行死活执行不成功 5：打通ssh
DataX配置hdfs到mysql一键脚本
qq_42417269的博客
07-06 698
datax将hdfs的数据导入到mysql中的一键脚本。
Shell脚本给Datax的job文件传参
为一个人走几座城
05-14 4709
当前有一个需求，读取HDFS中的分区数据，然后将数据写入到MongoDB。 由于要求每次导入Mongo的是增量的数据，但HDFS中没有相应的字段对数据进行标识哪些是新增的。需要依据相应的策略去判断相应的增量数据。 通过Hive的SQL将每天的全量数据与历史的增量数据进行关联（LEFT OUTER JOIN）where条件是右表的关联字段IS NULL，而关联条件是基于判重的字段组合生成M...
ETL工具之dataX自定义实现
Tu_maimes
10-12 1071
dataX简介 阿里巴巴的开源ETL工具，采用插件式的方式开发运行支持多线程运行。与Flume的架构很相似都是三层架构模式Read、Channel、Writer支持对数据的转换、过滤、抽取列等操作，详细功能需要自定义开发。使用java开发难度低易于实现。本文主要以自定义为切入点了解dataX。 官方自定义文档 自定义文档相关接口的详细介绍 转换操作 转换的自定义参考官方的源码实现 相关使用 参考官...
kudu抽取数据到oracle datax脚本
07-28
你可以使用DataX来抽取数据到Oracle数据库。下面是一个简单的DataX脚本示例，用于从某个数据源抽取数据到Oracle数据库： ```json { "job": { "content": [ { "reader": { "name": "your_data_source_name", "parameter": { "your_reader_parameter_1": "value1", "your_reader_parameter_2": "value2" } }, "writer": { "name": "oraclewriter", "parameter": { "connection": [ { "jdbcUrl": "jdbc:oracle:thin:@your_oracle_host:your_oracle_port:your_oracle_sid", "username": "your_username", "password": "your_password" } ], "column": [ "column1", "column2", ... ], "table": "your_table_name" } } } ] } } ``` 请注意替换上述示例中的以下内容： - `your_data_source_name`：替换为您要从中抽取数据的数据源名称。 - `your_reader_parameter_1` 和 `your_reader_parameter_2`：替换为您的数据源的相关参数。 - `jdbcUrl`：替换为您的Oracle数据库的连接URL。 - `your_oracle_host`、`your_oracle_port` 和 `your_oracle_sid`：替换为您的Oracle数据库的主机、端口和SID。 - `your_username`：替换为您的Oracle数据库的用户名。 - `your_password`：替换为您的Oracle数据库的密码。 - `column1`、`column2`等：替换为您要抽取的数据源中的列名。 - `your_table_name`：替换为您要将数据插入的Oracle表名。 保存上述脚本为一个`.json`文件，然后使用DataX来执行该脚本，即可将数据从指定的数据源抽取到Oracle数据库中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值