![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
dataX
dataX数据源之间抽取
小哇666
专注web/大数据
展开
-
dataX案例-从hbase中读取数据,写入到文本文件中
HbaseReader 插件原理HbaseReader 插件实现了从 Hbase中读取数据。在底层实现上,HbaseReader 通过 HBase 的 Java 客户端连接远程 HBase 服务,并通过 Scan 方式读取你指定 rowkey 范围内的数据,并将读取的数据使用 DataX 自定义的数据类型拼装为抽象的数据集,并传递给下游 Writer 处理。HbaseReader 插件官方文档,有介绍各个参数的说明https://github.com/alibaba/DataX/blob/master/h原创 2020-09-16 12:10:03 · 2617 阅读 · 0 评论 -
dataX案例-从mysql读取数据,写入到hbase中
hbase中建表语句,此步骤可选//建表create 'ns1:product','f1'//put记录put 'ns1:product','000','f1:pkid','5000'put 'ns1:product','000','f1:addtime','2020-09-15'put 'ns1:product','000','f1:kind','00010007'put 'ns1:product','000','f1:kindname','红葡萄酒'put 'ns1:product'原创 2020-09-15 22:02:59 · 2341 阅读 · 0 评论 -
dataX案例 从Oracle中读取数据(自定义sql语句)写入到hdfs上
OracleReader 插件官方详细说明https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.mdHdfsWriter插件官方文档,有介绍各个参数的说明https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md代码示例,编写oracle_hdfs.json文件{ "job": { "conten原创 2020-09-15 18:00:15 · 1432 阅读 · 0 评论 -
dataX案例 从Oracle中读取数据(自定义sql语句)存到MySQL中
OracleReader 插件官方详细说明https://github.com/alibaba/DataX/blob/master/oraclereader/doc/oraclereader.mdmysqlwriter 插件官方详细说明https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md代码示例,编写文件 oracle_mysql.json{ "job": { "content":原创 2020-09-15 17:38:54 · 2011 阅读 · 0 评论 -
dataX案例 读取hdfs文件,写入到mysql中
#从HDFS中读数据,写到mysql 中,先用下面的语句生成配置模板# -r -w 可在plugin 中找到 python datax.py -r hdfsreader -w mysqlwriterhdfsreader在官网上的详细参数说明https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.mdmysqlwriter在官网上的详细参数说明https://github.com/alibaba/Da.原创 2020-09-15 16:48:04 · 1882 阅读 · 0 评论 -
dataX案例 读取mysql(通过表名或自定义sql语句)数据写入到hdfs中 (txt或orc存储,gzip或snappy压缩)
实现原理 MysqlReader插件实现了从Mysql读取数据。简而言之,MysqlReader通过JDBC连接器连接到远程的Mysql数据库,并根据用户配置的信息生成查询SELECT SQL语句,然后发送到远程Mysql数据库,并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集,并传递给下游Writer处理。 对于用户配置Table、Column、Where的信息,MysqlReader将其拼接为SQL语句发送到Mysql数据库;对于用户配置queryS...原创 2020-09-14 23:24:26 · 3094 阅读 · 0 评论 -
datax环境搭建安装和如何使用概述
先保证如下软件已经成功安装,系统为 linuxJDK(1.8以上,推荐1.8) ,查看版本 java -version Python(推荐Python2.7.X),不要装2.7以上的版本,否则到时命令执行会报错,查看当前版本 python -V Apache Maven 3.x(Compile DataX) ,查看版本 mvn -v开始安装wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gztar ..原创 2020-09-13 13:27:58 · 722 阅读 · 0 评论