模拟生产环境下数据格式,再现异常情景:
安装 Hex-Editor 插件:
HexEditor插件用于在notepad++中查看16进制文件,只需要将此dll放入notepad++安装目录下plugins文件夹下,重启notepad++即可。
使用方法: 可以切换到Hex模式,输入00,再切换回来。
(使用notepad++打开16进制文件,然后单击菜单栏的‘H’按钮,即可转换,如果想转回来,再按一次‘H’按钮)
问题描述:
在文本文件中,有时候会包含一些空字符
或
^@
:
![98ed85a0dbba2bf7551bc05414f338196a59b17b](https://i-blog.csdnimg.cn/blog_migrate/4a06fa623c05eac1329a0b17aef4d9b6.png)
源数据在windows平台上Notepad++
打开情形如下
:
![b2f7e096efa01580b1d578b09018e4eb16a67f94](https://i-blog.csdnimg.cn/blog_migrate/43d78ee9c31ecfacb5a02ad54aafc3c7.png)
源数据在Linux Centos6.5平台上vim打开情形如下:
![c5988a9af06de8b851b8f47813cd5eede9887abb](https://i-blog.csdnimg.cn/blog_migrate/10150a4eda8bfeb6d033bd7373a32348.png)
在使用Tunnel将生产环境下的文本数据上传到ODPS表过程中,由于源数据某些字段为NUL或
^@
,报错无法正确读取,
异常是:
导入数据列与目标表中列不匹配(not match)
.
![da773723341ff25152f46774d617635b5eedaa7d](https://i-blog.csdnimg.cn/blog_migrate/c5fa086b071b74ad76cfede1bb9d22ad.png)
问题原因:
可能是由于生产环境下业务需要,无效数据打上NUL字符或
^@标记
。
解决思路:
想办法把源数据中存在NUL或
^@
过滤或替换成空值。
字符在Linux平台上用vim编辑器打开后显示^@,用sed命令将^@替换成空
(sed命令组合很强大,要注意备份文件)
其中\x00表示二位十六进制
如果不想备份直接替换加上参数-i
替换后效果截图如下:
使用tunnel遇到空数据问题(建立测试数据):
结论:对于文本文件中''导入到ODPS表中默认插入式null值
![4cf6a6d2d178483eed7e1ef0c82178207ecb2e7d](https://i-blog.csdnimg.cn/blog_migrate/410840cf17b1475fa108d51d3e588b6b.png)
在一行中若有两个逗号,表明在中间有一个
缺失值,
test.txt文本测试数据如下:
201207092314,,rubbyhao
201207092313,,babyliy
![3f52c09631a095b75fe03fa29e6dcf92a369e727](https://i-blog.csdnimg.cn/blog_migrate/6aefc7633ed04b856192c820bfa97495.png)
201207092314 | null | rubbyhao | 20160516 |
201207092313 | null | babyliy | 20160516 |
补充一个知识点:
find . -type f -name 文件名 -exec ./changerepository.sh {} /;