Hive注释中文乱码

前言

今天刚安装完CDH环境，交给同事使用，反馈说hive有乱码问题

建表语句

create external table movie(
userID int comment '用户ID',
movieID int comment '电影ID',
rating int comment '电影评分',
timestamped bigint comment '评分时间戳',
movieName string comment '电影名字', 
movieType string comment '电影类型', 
sex string comment '性别', 
age int comment '年龄', 
occupation string comment '职业', 
zipcode string comment '邮政编码'
) comment '影评三表合一' 
row format delimited fields terminated by ","
location '/hive/movie';

这是因为在hive的元数据库中MySQL中的元数据出现乱码

• 那么我们只需要把相应注释的地方的字符集由 latin1 改成 utf-8，就可以了。用到注释的就三个地方，表、分区、视图。如下修改分为两个步骤：

1、进入数据库 Metastore 中执行以下 5 条 SQL 语句

• （1）修改表字段注解和表注解

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

• （2）修改分区字段注解

alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

• （3）修改索引注解

alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

2、修改 metastore 的连接 URL

修改hive-site.xml配置文件

CDH中修改路径

hive->配置->类别->高级->hive-site.xml 的 Hive 复制高级配置代码段（安全阀）

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://IP:3306/db_name?createDatabaseIfNotExist=true&amp;useUnicode=true&characterEncoding=UTF-8</value>
    <description>JDBC connect string for a JDBC metastore</description>
</property>

重启一下hive

查看表结构

DESCRIBE  movie

1	userID	int	客户ID
2	movieID	int	用户ID
3	rating	int	电影评分
4	timestamped	bigint	评分时间戳
5	movieName	string	电影名字
6	movieType	string	电影类型
7	sex	string	性别
8	age	int	年龄
9	occupation	string	职业
10	zipcode	string	邮政编码