解决hive建表中文乱码问题，掌握这个提升路径,

最新推荐文章于 2024-09-17 21:34:32 发布

2401_84164546

最新推荐文章于 2024-09-17 21:34:32 发布

阅读量977

点赞数 22

分类专栏： 2024年程序员学习文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/2401_84164546/article/details/137802572

版权

2024年程序员学习专栏收录该内容

113 篇文章 0 订阅

订阅专栏

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

1、修改hive元数据库的编码格式，这里以元数据库为mysql为例

1.1 进入 etc目录下打开 my.cnf 文件，对 my.cnf 添加以下语句：

[client]
default-character-set=utf8
[mysqld]
default-storage-engine=INNODB
character-set-server=utf8
collation-server=utf8_general_ci

完成之后，重启mysql，再进入到mysql查看修改是否成功
在这里插入图片描述
1.2 在 mysql 修改hive元数据表注释和字段注释的编码为 utf-8
（1）命令行的形式
修改表字段注解和表注解
alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;
修改分区字段注解
alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8 ;
修改索引注解
alter table PARTITION_KEYS modify column PKEY_COMMENT varchar(4000) character set utf8;
（2）也可在数据库可视化工具（例如dbeaver）设置COLUMNS_V2 、TABLE_PARAMS 、PARTITION_PARAMS 、PARTITION_KEYS 的编码格式为utf-8
在这里插入图片描述

2、在 Hive 的配置文件 hive-site.xml 中，我们可以通过指定字符集编码来解决中文乱码问题。以下是一个示例：

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    <description>database username for metastore</description>
</property>

在这个示例中，我们通过设置 useUnicode=true 和 characterEncoding=UTF-8 来指定使用 UTF-8 字符集编码。

此外，在 hive-site.xml 配置文件中，也可以通过以下两个参数来指定字符集编码：

<property>
  <name>hive.cli.print.header</name>
  <value>true</value>
  <description>Whether to print the names of the columns in query output.</description>
</property>
<property>
  <name>hive.cli.encoding</name>
  <value>UTF-8</value>
  <description>Character-set encoding for various CLI output data such as console output, logs, reports.</description>
</property>
<property>
  <name>hive.charset</name>
  <value>utf8</value>
  <description>The character set encoding to use for data read/write operations.</description>
</property>

在这个示例中，我们通过设置 hive.cli.encoding 参数的值为 UTF-8 来指定字符集编码。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。

需要注意的是，在进行配置时，建议采用统一的字符集编码，以确保所有代码能够正常工作。

结果展示：
在这里插入图片描述