hive mysql编码问题_解决 hive 建表注释中文乱码问题

有时在 hive 中创建表之后，在查看表结构(describe TABLE_NAME)或者建表语句(show create table TABLE_NAME)时会遇到注释中的中文乱码的问题，比如：

# 建表

hive> create external table if not exists user_visit_date (

user_id bigint comment '用户ID'

) comment '每日访问用户'

partitioned by (p_day date comment '分区日期')

stored as parquet;

# 查看表结构

hive> describe user_visit_date;

OK

user_id bigint ??ID

p_day date ????

# Partition Information

# col_name data_type comment

p_day date ????

一、原因分析

很显然这是因为 hive 的元数据的编码问题，hive 的 metastore 通常存储在 mysql 中(在配置hive metastore时会在 mysql 中建库，比如笔者创建的是名为 hive 的库)，我们先来看看该库的 coding 格式：

mysql> show create database hive;

+----------+-----------------------------------------------------------------+

| Database | Create Database |

+----------+-----------------------------------------------------------------+

| hive | CREATE DATABASE `hive` /*!40100 DEFAULT CHARACTER SET latin1 */ |

+----------+-----------------------------------------------------------------+

1 row in set (0.00 sec)

可以看出 hive 库的 coding 格式为 latin1，而非 utf-8。为了让中文注释能够正常显示，我们需要对部分 coding 格式设置为 utf-8。

二、解决方案

# 首先进入 hive 库

mysql > use hive;

# 然后修改部分配置

mysql > alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;

Query OK, 91 rows affected (0.05 sec)

Records: 91 Duplicates: 0 Warnings: 0

mysql> alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

Query OK, 35 rows affected (0.05 sec)

Records: 35 Duplicates: 0 Warnings: 0

mysql> alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

Query OK, 0 rows affected (0.04 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql> alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;

Query OK, 1 row affected (0.04 sec)

Records: 1 Duplicates: 0 Warnings: 0

mysql> alter table INDEX_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;

Query OK, 0 rows affected (0.04 sec)

Records: 0 Duplicates: 0 Warnings: 0

mysql > commit;

三、查验结果

在 hive shell 中重新建表，并查看表结构来验证设置是否生效。

# drop 旧表

hive> drop table user_visit_date;

OK

Time taken: 0.658 seconds

# 建新表

hive> create external table if not exists user_visit_date (

> user_id bigint comment '用户ID'

> ) comment '每日访问用户'

> partitioned by (p_day date comment '分区日期')

> stored as parquet;

OK

Time taken: 0.083 seconds

# 查看表结构

hive> describe user_visit_date;

OK

user_id bigint 用户ID

p_day date 分区日期

# Partition Information

# col_name data_type comment

p_day date 分区日期

Time taken: 0.133 seconds, Fetched: 7 row(s)

可以看出修改配置后，新创建的表的表结构中的中文注释能够正常显示。