从linux拷贝到HDFS分区表报错，查看是编码问题

最新推荐文章于 2022-07-01 16:18:26 发布

老农民挖数据

最新推荐文章于 2022-07-01 16:18:26 发布

阅读量628

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/shushugood/article/details/51454840

版权

hadoop 专栏收录该内容

37 篇文章 0 订阅

订阅专栏

从linux拷贝到HDFS分区表报错，查看是编码问题，应该是解析的哥们用dos。

在分区字段出现乱码，导致分区乱伦。

^M 应该是windows \n

--怎么解决? 那就用dos2unix 转一下编码。

1.首先安装包。

[root@jiexi_71 Packages]# rpm -ivh dos2unix-3.1-37.el6.x86_64.rpm 
warning: dos2unix-3.1-37.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51: NOKEY
Preparing...                ########################################### [100%]
   1:dos2unix               ########################################### [100%]
[root@jiexi_71 Packages]#

2. 后台运行

[root@jiexi_71 finish]# more do.sh
#!/bin/sh
cd /data1/load/finish
dos2unix *

例子：

[root@jiexi_71 finish]# dos2unix S_COM_GN__20160507__00108__20160518145218-897888-4.dat
dos2unix: converting file S_COM_GN__20160507__00108__20160518145218-897888-4.dat to UNIX format ...
[root@jiexi_71 finish]#

3.执行hdfs拷贝，执行应该不会报错。