Datax中txtfilereader插件使用

最新推荐文章于 2024-07-22 16:58:25 发布
最新推荐文章于 2024-07-22 16:58:25 发布
阅读量2.1k 收藏 2
点赞数
分类专栏： 大数据 datax ETL 文章标签： datax etl 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43728713/article/details/121156367
版权
大数据 同时被 3 个专栏收录
6 篇文章 0 订阅
订阅专栏
ETL
2 篇文章 0 订阅
订阅专栏
datax
1 篇文章 0 订阅
订阅专栏

一、介绍

TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。

二、配置模版

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
{
     "setting" : {},
     "job" : {
         "setting" : {
             "speed" : {
                 "channel" : 2
             }
         },
         "content" : [
             {
                 "reader" : {
                     "name" : "txtfilereader" ,
                     "parameter" : {
                         "path" : [ "/home/haiwei.luo/case00/data" ],
                         "encoding" : "UTF-8" ,
                         "column" : [
                             {
                                 "index" : 0,
                                 "type" : "long"
                             },
                             {
                                 "index" : 1,
                                 "type" : "boolean"
                             },
                             {
                                 "index" : 2,
                                 "type" : "double"
                             },
                             {
                                 "index" : 3,
                                 "type" : "string"
                             },
                             {
                                 "index" : 4,
                                 "type" : "date" ,
                                 "format" : "yyyy.MM.dd"
                             }
                         ],
                         "fieldDelimiter" : ","
                     }
                 },
                 "writer" : {
                     "name" : "txtfilewriter" ,
                     "parameter" : {
                         "path" : "/home/haiwei.luo/case00/result" ,
                         "fileName" : "luohw" ,
                         "writeMode" : "truncate" ,
                         "format" : "yyyy-MM-dd"
                     }
                 }
             }
         ]
     }
}

三、使用说明

  1. 支持且仅支持读取TXT的文件，且要求TXT中shema为一张二维表。

  2. 支持类CSV格式文件，自定义分隔符。

  3. 支持多种类型数据读取(使用String表示)，支持列裁剪，支持列常量

 

四、实践

最近需要导一张表，原来的表数据是存放在hive上的，利用python脚本处理数据之后直接插入到hive的。现在是要将这张表的数据导入到greenplum中。表数据在7200万左右

方法：将hive数据导出成csv文件，利用datax导入到greenplum

 

配置json文件

复制代码 
{
    "content":[
        {
            "reader":{
                "name":"txtfilereader",
                "parameter":{
                    "column":[
                        {
                            "format":"yyyy-MM-dd",
                            "index":0,
                            "type":"date"
                        },
                        {
                            "index":1,
                            "type":"string"
                        },
                        {
                            "index":2,
                            "type":"string"
                        },
                        {
                            "index":3,
                            "type":"string"
                        },
                        {
                            "index":4,
                            "type":"string"
                        },
                        {
                            "index":5,
                            "type":"long"
                        },
                        {
                            "index":6,
                            "type":"long"
                        },
                        {
                            "index":7,
                            "type":"long"
                        },
                        {
                            "index":8,
                            "type":"long"
                        }
                    ],
                    "encoding":"utf-8",
                    "fieldDelimiter":",",
                    "path":[
                        "/home/tianyafu/flux_timecount_action.csv"
                    ]
                }
            },
            "writer":{
                "name":"gpdbwriter",
                "parameter":{
                    "column":[
                        "record_date",
                        "outid",
                        "tm_type",
                        "serv",
                        "app",
                        "down_flux",
                        "up_flux",
                        "seconds",
                        "count"
                    ],
                    "connection":[
                        {
                            "jdbcUrl":"jdbc:postgresql://192.168.100.21:5432/ods",
                            "table":[
                                "ods_flux_timecount_action"
                            ]
                        }
                    ],
                    "password":"******",
                    "segment_reject_limit":0,
                    "username":"admin"
                }
            }
        }
    ],
    "setting":{
        "errorLimit":{
            "percentage":0.02,
            "record":0
        },
        "speed":{
            "channel":"1"
        }
    }
}
复制代码

 

然后就失败了呀

 

 

确定错误是数据中有null值，无法转换为Long类型。

查询到解决方法是添加：

nullFormat配置项

复制代码 
nullFormat

描述：文本文件中无法使用标准字符串定义null(空指针)，DataX提供nullFormat定义哪些字符串可以表示为null。

例如如果用户配置: nullFormat:"\N"，那么如果源头数据是"\N"，DataX视作null字段。

必选：否

默认值：\N

复制代码

那就加上呗，

复制代码 
{
    "content":[
        {
            "reader":{
                "name":"txtfilereader",
                "parameter":{
                    "column":[
                        {
                            "format":"yyyy-MM-dd",
                            "index":0,
                            "type":"date"
                        },
                        {
                            "index":1,
                            "type":"string"
                        },
                        {
                            "index":2,
                            "type":"string"
                        },
                        {
                            "index":3,
                            "type":"string"
                        },
                        {
                            "index":4,
                            "type":"string"
                        },
                        {
                            "index":5,
                            "type":"long"
                        },
                        {
                            "index":6,
                            "type":"long"
                        },
                        {
                            "index":7,
                            "type":"long"
                        },
                        {
                            "index":8,
                            "type":"long"
                        }
                    ],
                    "csvReaderConfig":{
                        "safetySwitch":false,
                        "skipEmptyRecords":false,
                        "useTextQualifier":false
                    },
                    "encoding":"utf-8",
                    "fieldDelimiter":",",
                    "nullFormat":"null",
                    "path":[
                        "/home/tianyafu/flux_timecount_action.csv"
                    ]
                }
            },
            "writer":{
                "name":"gpdbwriter",
                "parameter":{
                    "column":[
                        "record_date",
                        "outid",
                        "tm_type",
                        "serv",
                        "app",
                        "down_flux",
                        "up_flux",
                        "seconds",
                        "count"
                    ],
                    "connection":[
                        {
                            "jdbcUrl":"jdbc:postgresql://192.168.100.21:5432/ods",
                            "table":[
                                "ods_flux_timecount_action"
                            ]
                        }
                    ],
                    "password":"******",
                    "segment_reject_limit":0,
                    "username":"admin"
                }
            }
        }
    ],
    "setting":{
        "errorLimit":{
            "percentage":0.02,
            "record":0
        },
        "speed":{
            "channel":"1"
        }
    }
}
复制代码

结果又失败了

看来是大小写敏感的，继续改：

复制代码 
{
    "content":[
        {
            "reader":{
                "name":"txtfilereader",
                "parameter":{
                    "column":[
                        {
                            "format":"yyyy-MM-dd",
                            "index":0,
                            "type":"date"
                        },
                        {
                            "index":1,
                            "type":"string"
                        },
                        {
                            "index":2,
                            "type":"string"
                        },
                        {
                            "index":3,
                            "type":"string"
                        },
                        {
                            "index":4,
                            "type":"string"
                        },
                        {
                            "index":5,
                            "type":"long"
                        },
                        {
                            "index":6,
                            "type":"long"
                        },
                        {
                            "index":7,
                            "type":"long"
                        },
                        {
                            "index":8,
                            "type":"long"
                        }
                    ],
                    "csvReaderConfig":{
                        "safetySwitch":false,
                        "skipEmptyRecords":false,
                        "useTextQualifier":false
                    },
                    "encoding":"utf-8",
                    "fieldDelimiter":",",
                    "nullFormat":"NULL",
                    "path":[
                        "/home/tianyafu/flux_timecount_action.csv"
                    ]
                }
            },
            "writer":{
                "name":"gpdbwriter",
                "parameter":{
                    "column":[
                        "record_date",
                        "outid",
                        "tm_type",
                        "serv",
                        "app",
                        "down_flux",
                        "up_flux",
                        "seconds",
                        "count"
                    ],
                    "connection":[
                        {
                            "jdbcUrl":"jdbc:postgresql://192.168.100.21:5432/ods",
                            "table":[
                                "ods_flux_timecount_action"
                            ]
                        }
                    ],
                    "password":"******",
                    "segment_reject_limit":0,
                    "username":"admin"
                }
            }
        }
    ],
    "setting":{
        "errorLimit":{
            "percentage":0.02,
            "record":0
        },
        "speed":{
            "channel":"1"
        }
    }
}
复制代码

 

 

终于成功了

看来这个参数是大小写敏感的

 

数据年轮
关注
专栏目录
datax clickhouse 读插件
11-09
本文将深入探讨DataX中的ClickHouse读插件，帮助读者理解如何使用这个插件进行数据读取，以及将其正确配置到DataX系统中。 一、DataX ClickHouse读插件概述 DataX ClickHouse读插件是专为从ClickHouse数据库中读取...
Datax的txtfilereader插件实践
weixin_30391339的博客
12-17 1670
一、介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 二、配置模版 { "setting": {}, "job": { "setting": { "speed": { ...
DataX系列4-TxtFileWriter介绍
只是甲的博客
12-15 4369
文章目录一. 快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 fileName3.2.3 writeMode3.2.4 fieldDelimiter3.2.5 compress3.2.6 encoding3.2.7 nullFormat3.2.8 dateFormat3.2.9 fileFormat3.2.10 header3.3 类型转换四. 测试案例4.1 数据准备4.2 json文件准备4.3 运行脚本参考: 一. 快速介绍   实际生产中，鉴于数
六个PyCharm高效插件
最新发布
qq_20314141的博客
07-22 418
PyCharm作为一款强大的集成开发环境，本身已经提供了许多功能，但这些插件将进一步扩展和增强PyCharm的能力。通过使用这些插件，开发者将能够更快速地编写代码、提高代码质量、进行调试和优化，并将开发体验提升到一个全新的水平。
DataX系列3-TxtFileReader介绍
只是甲的博客
12-15 2199
文章目录一.快速介绍二. 功能与限制三. 功能说明3.1 配置样例3.2 参数说明3.2.1 path3.2.2 column3.2.3 fieldDelimiter3.2.4 compress3.2.5 encoding3.2.6 skipHeader3.2.7 nullFormat3.2.8 csvReaderConfig3.3 类型转换参考: 一.快速介绍   实际生产中，鉴于数据安全、不同够公司数据交互等原因，很多时候会使用txt、csv等文件格式来交互数据。   TxtFileReader提供了
datax之txtfilereader
qq_36297093的博客
07-13 2238
声明：本文来源于datax源码包 # DataX TxtFileReader 说明 ------------ ## 1 快速介绍 TxtFileReader提供了读取本地文件系统数据存储的能力。在底层实现上，TxtFileReader获取本地文件数据，并转换为DataX传输协议传递给Writer。 **本地文件内容存放的是一张逻辑意义上的二维表，例如CSV格式的文本信息。** ## 2 功能与限制 TxtFileReader实现了从本地文件读取数据并转为DataX协议的功能，本地文件本身
【datax采集ftp、txt、hdfs不支持多字符分隔解决方案】
lqlgg1007的博客
01-24 4703
该方式仅支持TxtFileReader, OSSReader,FtpReader, HdfsReader，其中ftpReader已验证。下文所有描述都只针对这几种数据源。 注意：修改为多字符分隔后，采集数据大概只有之前的1/3。所以源数据如果同时存在单字符和多字符。建议复制一份datax安装包，单独修改插件。 为什么Datax不支持多字符分隔 查看类com.alibaba.datax.plugin.unstructuredstorage.reader.UnstructuredStorageReaderUt
datax txtfilewriter里filename后面拼接了随机数？
编程界小学生的博客
07-06 968
解决datax工具，txtfilewriter写txt文件时filename后面拼接了随机数的问题
DataX clickhousereader clickhousewriter 插件包下载
07-20
`clickhousereader` 插件是 DataX 中用于从 ClickHouse 数据库中读取数据的组件。它提供了高效、稳定的数据抽取能力，能够将 ClickHouse 中的数据高效地迁移到其他数据存储系统。该插件支持配置各种参数，如数据库...
datax数据迁移插件-db2writer
01-16
本文将深入探讨DataX中的DB2Writer插件，它是专门为DB2数据库设计的数据写入插件，用于将数据高效地导入到DB2系统中。 1. DataX简介 DataX作为一款跨平台的数据同步工具，支持多种数据源之间的数据迁移，包括关系型...
Datax-ClickHouse读写插件
02-17
DataX ClickHouse读写插件是DataX框架中的一个重要组成部分，它使得DataX能够与ClickHouse数据库无缝对接，实现数据的双向同步。这包括从其他数据库（如MySQL、SQLServer）读取数据并写入ClickHouse，或者从...
datax数据迁移插件-oscarreader
01-16
用户在使用DataX进行数据迁移时，需要将这个插件集成到DataX项目中，配置相应的数据库连接信息和迁移任务参数，然后通过DataX调度系统启动迁移任务，从而实现数据从奥斯卡数据库到其他目标系统的迁移。 总的来说，...
datax .json文件，txtfilereader路径path要用‘/’
m0_64340190的博客
01-04 526
datax报错Illegal/unsupported escape sequence near index 15
datax值txtreader，writerjob
viviliving的专栏
01-07 528
{ "setting": {}, "job": { "setting": { "speed": { "channel": 2 } }, "content": [ { "reader": { "name": "txtfilereader", .
DataX使用入门
mynameisjinxiaokai的博客
01-17 3179
DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS 等各种异构数据源之间高效的数据同步功能。下载对应的MySQL驱动版本：https://static.runoob.com/download/mysql-connector-java-8.0.16.jar。方法二、下载DataX源码，自己编译：DataX源码。
datax优化之reader提速-详细经历
热门推荐
cclovezbf的博客
12-09 2万+
首先说明下，个人认为reader提速最重要的一点就是切分任务即split这块 背景：一直用datax从oracle到hive数据，一般是1w-2w条/s也凑合用了，但是最近导DM_F_REV_FULL_LIFE_CYCLE_IMS表 该表根据月在hive分区，每个分区数据在200w-1000w左右，数据量也不算特别大但是速度只有4M/s 速度不到7000条/s, { "job":{ "setting":{ "speed":{ "c
dataX-windows系统下mysql与txt的转化(二)
破碎琉璃为哪般
12-27 1537
本篇的配置环境 https://www.jianshu.com/p/6c086c0ab2a9 mysql 8.0.27 ,python3.7 ,windows系统 一、文件准备 新建workJson 和 workfile 目录分别存放原始文件，和json 原始文件名file.txt分割符为\t 二、txt文件到txt文件 json模板获取 python D:\dataxTest\datax\bin\datax.py -r txtfilereader -w txtwriter > txtTotx.
DataX数据同步实战案例
chimchim66的博客
09-16 1493
DataX数据同步实战案例
数据同步工具DataX介绍和原理
Bulut0907
11-21 2499
DataX是一个各种数据源之间的离线数据同步工具DataX的设计理念是一种星型数据链路。DataX作为中间传输载体负责连接各种数据源，通过reader从一个数据源读取数据，再通过writer将数据写入另一个数据源。这样可以以一种插件的方式拓展其它数据源支持ORC格式任务执行完，有执行统计信息在core部分有数据校验功能只能在一台服务器，以多线程的方式运行不支持分布式。但可以再多台服务器部署，对不同的数据库表进行数据同步。
datax txtfilereader
08-12
在DataX的配置文件中，您需要指定TxtFileReader作为Reader插件，并配置相应的参数，以便正确读取文本文件中的数据。 希望以上信息能对您有所帮助。如果您有更多关于DataX或TxtFileReader的问题，欢迎继续提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值