Hive创建表时添加中文注释后乱码问题

创建数据表时我们经验会添加一些中文注释到表里面方便识别,最近在测试hive的时候,发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码,如下:



解压思路:

1、查看存放Hive元数据信息的数据库表字符集;是否因为字符集问题

可以看出,由于表使用的是默认的latin1字符集,所以中文显示不出来,应该使用utf8;

但是很奇怪,我整个Mysql都是使用utf8的字符集;所以这个与Mysql的配置无直接关系;但是可以通过修改Mysql上面的表默认字符集来解决,这个是不需要修改Hive配置的方法,快捷方便,不影响现有数据。
 


登陆Mysql数据库切换到Hive库:
use hive 
修改以下两张表即可;
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; 
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; 

再回到Hive查看表结构时就正常显示中文了;
如果你的表创建了分区的话就要再加一条语句:
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8; 

-------------------------------------------------------------------------------------------------------

使用Mysql作为Hive的元数据存储方式时都要使用命令,初始化才可以使用:
./schematool -dbType mysql -initSchema 
所以通过上面这个命令,就知道既然要初始化,就等于先执行一下默认的SQL语句去建表。【不然hive中的表哪来?】
所以第二种方法就是修改hive默认的SQL语句来实现;


1、通过关键字查找文件
find /home/otouser/software/hive |xargs grep -ri "latin1" -l 
通过上面命令可以看到很多文件:不过明确目录就在:
hive/scripts/metastore/upgrade/mysql 下 


2、根据你使用的hive版本来修改:【修改一个文件即可】
进入目录:
cd hive/scripts/metastore/upgrade/mysql 
因为我使用的hive是2.0.0版本,所以就修改这个文件:hive-schema-2.0.0.mysql.sql 
只需修改以下几步:其实就是跟上面的一样;
修改字段注释字符集: 

 54行   
 `COMMENT` varchar(256) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL, 
修改成: 
 
 `COMMENT` varchar(256) CHARACTER SET utf8 DEFAULT NULL, 
 
修改表注释字符集: 
 
565行 
`PARAM_VALUE` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL, 
修改成: 
`PARAM_VALUE` varchar(4000) CHARACTER SET utf8 DEFAULT NULL, 
 
 
修改分区注释字符集: 
 
249行: 
`PKEY_COMMENT` varchar(4000) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL, 
 
修改成: 
`PKEY_COMMENT` varchar(4000) CHARACTER SET utf8 DEFAULT NULL, 
最后修改完后就执行上面的初始化元数据,再创建表时就可以看到正常显示中文了。


  • 9
    点赞
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生命不息丶折腾不止

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值