hive汉字乱码问题解决

hive汉字乱码问题解决

一、尝试过的解决方案

怀疑是哪里没有设置好，进行如下设置

alter database hive character set latin1;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

再到hive中重新创建表后执行show create table users;，无奈还是乱码！依然没解决！

二、分析

        虽然上面的方法修改了元数据的编码格式，我们查看下hive的mysql元数据表COLUMNS_V2依然是乱码。。。

        原因分析：客户端通过jdbc方式连接hive执行sql，sql提交给hiveserver2执行，hiveserver2再告诉hivemetastore要创建表，于是hivemetastore负责跟mysql打交道，它俩直接打交道也通过jdbc，注意，客户端与hiveserver2，hivemetastore跟mysql，虽然都是jdbc，但是驱动是不一样的，我们应该关注的是hivemetastore跟mysql交互过程中的utf8编码没设置。

三、解决方法

上面的元数据修改sql执行后，在hive-site.xml里面的mysql jdbc配置中

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://recessw-hdp3-manager001:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
</property>

重要的是加上useUnicode=true&characterEncoding=UTF-8。

再次创建表后执行show create table users;