数据同步
文章平均质量分 82
数据同步工具
雾岛与鲸
这个作者很懒,什么都没留下…
展开
-
DataX DorisWriter 插件文档
DorisWriter支持将大批量数据写入Doris中。DorisWriter 通过Doris原生支持Stream load方式导入数据, DorisWriter会将读取的数据进行缓存在内存中,拼接成Json文本,然后批量导入至Doris。这里是一份从Stream读取数据后导入至Doris的配置文件。3.2 参数说明jdbcUrlfeLoadUrlbeLoadUrlusernamepassworddatabasetablecolumntimeZonepreSqlpostSqlmaxBatchR原创 2022-07-14 10:33:08 · 1402 阅读 · 5 评论 -
DataX HdfsReader 插件文档
1 快速介绍HdfsReader提供了读取分布式文件系统数据存储的能力。在底层实现上,HdfsReader获取分布式文件系统上文件的数据,并转换为DataX传输协议传递给Writer。目前HdfsReader支持的文件格式有textfile(text)、orcfile(orc)、rcfile(rc)、sequence file(seq)和普通逻辑二维表(csv)类型格式的文件,且文件内容存放的必须是一张逻辑意义上的二维表。HdfsReader需要Jdk1.7及以上版本的支持。2 功能与限制Hdfs原创 2020-08-19 15:14:46 · 2276 阅读 · 0 评论 -
DataX HdfsWriter 插件文档
1 快速介绍HdfsWriter提供向HDFS文件系统指定路径中写入TEXTFile文件和ORCFile文件,文件内容可与hive中表关联。2 功能与限制(1)、目前HdfsWriter仅支持textfile和orcfile两种格式的文件,且文件内容存放的必须是一张逻辑意义上的二维表;(2)、由于HDFS是文件系统,不存在schema的概念,因此不支持对部分列写入;(3)、目前仅支持与以下Hive数据类型:数值型:TINYINT,SMALLINT,INT,BIGINT,FLOAT,DOUBLE原创 2020-08-19 15:12:09 · 1136 阅读 · 0 评论