datax列越界,datax文本限定符,datax文本引号问题

问题描述

datax 读取hdfs文件时遇到个棘手的问题,就是文本中字符以"开头时,无法用分割符分开,它会合并后续所有字段为一个字段,直到找到"结尾。

问题排查

我们项目组,基于hdfs封装个hive读取。读取的hive表是普通的text格式。我们顺着代码找到
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
发现text最后使用CsvReader读取的,再看了一下CsvReader的使用方法,发现里面有个参数,TextQualifier 默认值为",也就是改变一下这个默认值就行。

public char TextQualifier = '"';

那在原来的源码这里加入一段默认文本限定符的设置在这里插入图片描述
那么ok了。

结果验证

在这里插入图片描述
最后发现这个数据确实不再被强制压缩到一起了,万事大吉。

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值