最近在跑hive的自定义函数失败时候,查看日志发现个问题;
![](https://img-blog.csdnimg.cn/img_convert/7ab02e1f153da2175c703e22dc35bf57.png)
过滤出数据后进行json在线格式化也没问题,删除这条数据之后发现文件大小变化很大,使用less命令查看数据发现存在大量空字符^@
![](https://img-blog.csdnimg.cn/img_convert/f0a9dfeafb66deeebd556241d5c9f42a.png)
解决方法:sed -i ‘s/[\x00]//g’ filename 清理空字符^@,这样就可以正常运行任务
最近在跑hive的自定义函数失败时候,查看日志发现个问题;
过滤出数据后进行json在线格式化也没问题,删除这条数据之后发现文件大小变化很大,使用less命令查看数据发现存在大量空字符^@
解决方法:sed -i ‘s/[\x00]//g’ filename 清理空字符^@,这样就可以正常运行任务