Hive导入数据文件时中文乱码的解决

1.不要用SecureCRT,要用putty


2. 设置服务器的LANG=UTF8

在.bash_profile中,export LANG=zh_CN.UTF8


3. 数据文件也要用UTF8


4. 通过java读取GB2312的文件

BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("data/170201.sql"), Charset.forName("GB2312")));
       
5. 写入文件,使用UTF8

newStr = new String(newStr.getBytes("UTF-8"),"UTF-8");

                     os.write(newStr.getBytes("UTF-8"));
                     os.write("\n".getBytes());
 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hive导入数据乱码问题主要分为三种情况。第一种情况是Hive CLI查询乱码,但在Ambari端查看正常;第二种情况是导入包含汉字数据后,所有客户端方式查询都乱码;第三种情况是Hive CLI查询没有乱码,但通过JDBC或HiveServer2查询出现乱码。 对于第一种情况,导致乱码的原因是HiveServer2查询输出的格式发生了变化,可能是因为Hive环境的编码格式未配置正确。解决方案是在hive-env.sh文件的最后加上编码格式配置:export HADOOP_OPTS="$HADOOP_OPTS -Dfile.encoding=UTF-8"。 对于第二种情况,可能是由于使用的SSH工具的编码问题导致Hive CLI查询中文乱码解决方案是将SSH工具(如Xshell、PuTTY)的编码修改为UTF-8,然后重新连接。 对于第三种情况,可能是因为数据编码不一致导致的问题。Hive默认使用UTF-8编码,而导入的中文文本数据需要保证也是UTF-8格式。解决方案是通过查看文本编码格式并进行修改。可以使用一些常用文本工具如EditPlus、Notepad打开包含中文的文件,将其编码格式修改为UTF-8并保存;或者在Linux或macOS终端下使用Vim编辑器打开文件,输入命令":set fileencoding=utf-8"修改编码格式并保存退出。 综上所述,解决Hive导入数据乱码问题的方法包括配置Hive环境的编码格式、修改SSH工具的编码设置以及确保数据的编码一致性。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值