datax
mjlfto
这个作者很懒,什么都没留下…
展开
-
mysqlReader
最近学习datax,做个小笔记:内容来自:https://github.com/alibaba/DataX/blob/master/mysqlreader/doc/mysqlreader.md快速介绍MysqlReader插件实现了从Mysql读取数据。在底层实现上,MysqlReader通过JDBC连接远程Mysql数据库,并执行相应的sql语句将数据从mysql库中SELECT出来。不同...转载 2019-01-29 10:54:24 · 894 阅读 · 0 评论 -
mysqlWriter
Datax mysqlWriter 内容来自:https://github.com/alibaba/DataX/blob/master/mysqlwriter/doc/mysqlwriter.md1 快速介绍MysqlWriter 插件实现了写入数据到 Mysql 主库的目的表的功能。在底层实现上, MysqlWriter 通过 JDBC 连接远程 Mysql 数据库,并执行相应的 inser...转载 2019-01-29 11:25:18 · 711 阅读 · 0 评论 -
hdfsreader
DataX HdfsReader 插件文档1 快速介绍HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orcfile(orc)、rcfile(rc)、sequence file(seq)和普通逻辑二...转载 2019-01-29 14:07:50 · 1226 阅读 · 0 评论 -
hdfswriter
DataX HdfsWriter 插件文档1 快速介绍HdfsWriter提供向HDFS文件系统指定路径中写入TEXTFile文件和ORCFile文件,文件内容可与hive中表关联。2 功能与限制(1)、目前HdfsWriter仅支持textfile和orcfile两种格式的文件,且文件内容存放的必须是一张逻辑意义上的二维表;(2)、由于HDFS是文件系统,不存在schema的概念,...转载 2019-01-29 14:08:56 · 1493 阅读 · 0 评论 -
DataX FtpReader
DataX FtpReader 说明1 快速介绍FtpReader提供了读取远程FTP文件系统数据存储的能力。在底层实现上,FtpReader获取远程FTP文件数据,并转换为DataX传输协议传递给Writer。本地文件内容存放的是一张逻辑意义上的二维表,例如CSV格式的文本信息。2 功能与限制FtpReader实现了从远程FTP文件读取数据并转为DataX协议的功能,远程FTP文件本...转载 2019-01-31 09:47:41 · 4735 阅读 · 0 评论 -
DataX FtpWriter
DataX FtpWriter 说明1 快速介绍FtpWriter提供了向远程FTP文件写入CSV格式的一个或者多个文件,在底层实现上,FtpWriter将DataX传输协议下的数据转换为csv格式,并使用FTP相关的网络协议写出到远程FTP服务器。写入FTP文件内容存放的是一张逻辑意义上的二维表,例如CSV格式的文本信息。2 功能与限制FtpWriter实现了从DataX协议转为FT...转载 2019-01-31 09:49:10 · 3172 阅读 · 0 评论 -
Hbase094XReader & Hbase11XReader
Hbase094XReader & Hbase11XReader 插件文档1 快速介绍HbaseReader 插件实现了从 Hbase中读取数据。在底层实现上,HbaseReader 通过 HBase 的 Java 客户端连接远程 HBase 服务,并通过 Scan 方式读取你指定 rowkey 范围内的数据,并将读取的数据使用 DataX 自定义的数据类型拼装为抽象的数据集,并传递...转载 2019-01-31 10:01:11 · 701 阅读 · 0 评论 -
DataX KafkaWriter 插件文档
DataX KafkaWriter 插件文档最近学习使用datax工具, 发现阿里官方提供并没有kafkawriter插件,于是边自己写了一个;该插件主要借鉴:datax插件开发宝典然后在此基础上改造源码:https://gitee.com/mjlfto/dataX/tree/master/kafkawriter1 快速介绍KakfaWriter提供向kafka中指定topic写数据。...原创 2019-02-20 17:42:27 · 8538 阅读 · 6 评论