datax:从hive导入ftp com.alibaba.datax.common.exception.DataXException: Code:[FtpWriter-14], Description

com.alibaba.datax.common.exception.DataXException: Code:[FtpWriter-14], Description:[与ftp服务器连接异常.]. - 创建目录:/var/ftp/upload/test1.csv时发生异常,请确认与ftp服务器的连接正常,拥有目录创建权限

cat /etc/shells

cat /etc/passwd

发现所登录的路径不正确,改完之后又开始报这个错误

总以为是没给登录,排查出来结果是由于不知道什么情况密码改变了。然后改完密码后,又出现权限问题,无法创建文件,最后发现是文件权限问题,然后给予chmod -R 777

然后发现datax还是报错权限问题,最后调试datax源码时发现了这个

(ftp server不支持递归创建目录,只能一级一级创建),然后继续给根目录权限,但是还是出问题了,他会把path最后一层也当作文件了,出现这个问题其实就是自己迷糊了,问了一下其他同学,发现是dataxwriter写入的是目录而不是文件,还有writer写的有些问题,最后发出来正确的writer

        "writer": {
          "name": "ftpwriter",
          "parameter": {
            "protocol": "ftp",
            "host": "192.168.100.6",
            "port": 21,
            "username": "ftp",
            "password": "123456",
            "timeout": "60000",
            "connectPattern": "PASV",
            "path": "/var/ftp/upload/",
            "fileName": "test1",
            "writeMode": "append",
            "fieldDelimiter": ",",
            "encoding": "UTF-8",
            "nullFormat": "null",
            "fileFormat": "csv",
            "suffix": ".csv"
          }
        }

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值