hive中文汉字乱码终极解决办法

一、问题

在创建hive表时,comment要加中文注释,比如:

drop table if exists users;
create table users(
name string comment '姓名',
age int comment '年龄'
);

执行后再show create table users;
在这里插入图片描述

二、别人的解决方法

中国文化博大精深,无奈没有成为世界统一标准,根据一般人的经验,脑中一定是utf8哪个地方没设置好的问题,经过一番百度,找到 如下解决方法,在hive的mysql元数据库中执行:

alter database hive character set latin1;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_PARAMS  modify column PARAM_VALUE varchar(4000) character set utf8;
alter table PARTITION_KEYS  modify column PKEY_COMMENT varchar(4000) character set utf8;
alter table  INDEX_PARAMS  modify column PARAM_VALUE  varchar(4000) character set utf8;

再到hive中重新创建表后执行show create table users;无奈还是乱码!依然没解决! 百度不是解决根本问题的方法!

三、问题分析

尽管上面的方法修改了元数据的编码格式,我们查看下hive的mysql元数据表COLUMNS_V2
在这里插入图片描述
依然是乱码。。。
分析:客户端通过jdbc方式连接hive执行sql,sql提交给hiveserver2执行,hiveserver2再告诉hivemetastore要创建表,于是hivemetastore负责跟mysql打交道,它俩直接打交道也通过jdbc,注意,客户端与hiveserver2,hivemetastore跟mysql,虽然都是jdbc,但是驱动是不一样的,我们应该关注的是hivemetastore跟mysql交互过程中的utf8编码没设置。so ,问题已分析完

四、解决方法

上面的元数据修改sql执行后,在hive-site.xml里面的mysql jdbc配置中

<property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://recessw-hdp3-manager001:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8</value>
</property>

重要的是加上useUnicode=true&characterEncoding=UTF-8。再次创建表后执行show create table users;
在这里插入图片描述
成功解决!

  • 7
    点赞
  • 27
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值