快速介绍
FtpReader提供了读取远程FTP文件系统数据存储的能力。在底层实现上,FtpReader获取远程FTP文件数据,并转换为DataX传输协议传递给Writer。
本地文件内容存放的是一张逻辑意义上的二维表,例如CSV格式的文本信息。
功能与限制
FtpReader实现了从远程FTP文件读取数据并转为DataX协议的功能,远程FTP文件本身是无结构化数据存储,对于DataX而言,FtpReader实现上类比TxtFileReader,有诸多相似之处。目前FtpReader支持功能如下:
- 支持且仅支持读取TXT的文件,且要求TXT中shema为一张二维表。
- 支持类CSV格式文件,自定义分隔符。
- 支持多种类型数据读取(使用String表示),支持列裁剪,支持列常量
- 支持递归读取、支持文件名过滤。
- 支持文本压缩,现有压缩格式为zip、gzip、bzip2。
- 多个File可以支持并发读取。
暂时不能做到: - 单个File支持多线程并发读取,
- 单个File在压缩情况下,从技术上无法支持多线程并发读取。
功能说明
配置样例
{
"setting": {},
"job": {
"setting": {
"speed": {
"channel": 2
}
},
"content": [
{
"reader": {
"name": "ftpreader",
"parameter": {
"protocol": "sftp",
"host": "192.168.18.162",
"port": 22,
"username": "hadoop",
"password": "hadoop",
"path": [ "/opt/data/*" ],
"column": [ { "index": 0, "type": "long" }, { "index": 1, "type": "boolean" }, { "index": 2, "type": "double" }, { "index": 3, "type": "string" }, { "index": 4, "type": "date", "format": "yyyy.MM.dd" } ],
"encoding": "UTF-8",
"fieldDelimiter": "," }
},
"writer": {
"name": "ftpWriter",
"parameter": {
"path": "/opt/data/",
"fileName": "shihf",
"writeMode": "truncate",
"format": "yyyy-MM-dd" }
}
}
]
}
}
参数说明
● protocol
○ 描述:ftp服务器协议,目前支持传输协议有ftp和sftp。
○ 必选:是
○ 默认值:无
● host
○ 描述:ftp服务器地址。
○ 必选:是
○ 默认值:无
● port
○ 描述:ftp服务器端口。
○ 必选:否
○ 默认值:若传输协议是sftp协议,默认值是22;若传输协议是标准ftp协议,默认值是21
● timeout
○ 描述:连接ftp服务器连接超时时间,单位毫秒。
○ 必选:否
○ 默认值:60000(1分钟)
● connectPattern
○ 描述:连接模式(主动模式或者被动模式)。该参数只在传输协议是标准ftp协议时使用,值只能为:PORT (主动),PASV(被动)。两种模式主要的不同是数据连接建立的不同。对于Port模式,是客户端在本地打开一个端口等服务器去连接建立数据连接,而Pasv模式就是服务器打开一个端口等待客户端去建立一个数据连接。
○ 必选:否
○ 默认值:PASV
● username
○ 描述:ftp服务器访问用户名。
○ 必选:是
○ 默认值:无
● password
○ 描述:ftp服务器访问密码。
○ 必选:是
○ 默认值:无
● path
○ 描述:远程FTP文件系统的路径信息,注意这里可以支持填写多个路径。
当指定单个远程FTP文件,FtpReader暂时只能使用单线程进行数据抽取。
当指定多个远程FTP文件,FtpReader支持使用多线程进行数据抽取。线程并发数通过通道数指定。
当指定通配符,FtpReader尝试遍历出多个文件信息。例如: 指定/*代表读取/目录下所有的文件,指定/bazhen/*代表读取bazhen目录下游所有的文件。FtpReader目前只支持*作为文件通配符。
特别需要注意的是,DataX会将一个作业下同步的所有Text File视作同一张数据表。用户必须自己保证所有的File能够适配同一套schema信息。读取文件用户必须保证为类CSV格式,并且提供给DataX权限可读。
特别需要注意的是,如果Path指定的路径下没有符合匹配的文件抽取,DataX将报错。
○ 必选:是
○ 默认值:无
● column
○ 描述:读取字段列表,type指定源数据的类型,index指定当前列来自于文本第几列(以0开始),value指定当前类型为常量,不从源头文件读取数据,而是根据value值自动生成对应的列。
默认情况下,用户可以全部按照String类型读取数据,配置如下:
“column”: [“*”]
用户可以指定Column字段信息,配置如下:
{
“type”: “long”,
“index”: 0 //从远程FTP文件文本第一列获取int字段
},
{
“type”: “string”,
“value”: “alibaba” //从FtpReader内部生成alibaba的字符串字段作为当前字段
}
对于用户指定Column信息,type必须填写,index/value必须选择其一。
○ 必选:是
○ 默认值:全部按照string类型读取
● fieldDelimiter
○ 描述:读取的字段分隔符
○ 必选:是
○ 默认值:,
● compress
○ 描述:文本压缩类型,默认不填写意味着没有压缩。支持压缩类型为zip、gzip、bzip2。
○ 必选:否
○ 默认值:没有压缩
● encoding
○ 描述:读取文件的编码配置。
○ 必选:否
○ 默认值:utf-8
● skipHeader
○ 描述:类CSV格式文件可能存在表头为标题情况,需要跳过。默认不跳过。
○ 必选:否
○ 默认值:false
● nullFormat
○ 描述:文本文件中无法使用标准字符串定义null(空指针),DataX提供nullFormat定义哪些字符串可以表示为null。
例如如果用户配置: nullFormat:”\N”,那么如果源头数据是”\N”,DataX视作null字段。
○ 必选:否
○ 默认值:\N
● maxTraversalLevel
○ 描述:允许遍历文件夹的最大层数。
○ 必选:否
○ 默认值:100
● csvReaderConfig
○ 描述:读取CSV类型文件参数配置,Map类型。读取CSV类型文件使用的CsvReader进行读取,会有很多配置,不配置则使用默认值。
○ 必选:否
○ 默认值:无
常见配置: