原始数据文件从oracle表通过dmp方式导出成文件(未加任何编码参数)后:
0、secureCRT终端字符集设置:
软件设置:terminal->appearance->character encoding 设置为utf-8
终端命令行设置:export LANG=zh_CN.UTF-8
1、查看LATN.txt文件的编码格式:
vi LATN.txt
:set fileencoding
显示为latin1
2、将utf-8编码的LATN.txt文件转换成GBK编码的LATN.txt2:
iconv -f GBK -t UTF-8 LATN.txt -o LATN.txt2
之后就可以加载数据文件入HIVE或者shark表
0、secureCRT终端字符集设置:
软件设置:terminal->appearance->character encoding 设置为utf-8
终端命令行设置:export LANG=zh_CN.UTF-8
1、查看LATN.txt文件的编码格式:
vi LATN.txt
:set fileencoding
显示为latin1
2、将utf-8编码的LATN.txt文件转换成GBK编码的LATN.txt2:
iconv -f GBK -t UTF-8 LATN.txt -o LATN.txt2
之后就可以加载数据文件入HIVE或者shark表