Hive中文注释乱码解决方案

最新推荐文章于 2024-02-20 22:51:53 发布
最新推荐文章于 2024-02-20 22:51:53 发布
阅读量3.4k 收藏 5
点赞数
文章标签： Hive 乱码 网易云
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jessicaiu/article/details/83072483
版权

本文来自网易云社区

作者：王潘安


快速解决方法

目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决这些问题：

１．首先在hive客户端的conf目录下找到hive-site.xml配置文件，查询本机hive所连接的metastore地址。例如：

        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://10.120.xxx.xxx:3306/hive_study</value>
        </property>

连接该数据库。找到表COLUMNS_V2并查询其中的字段。如果为类似以下的乱码：

 |   952 | ??????????                                                                                                                                                                                      | in_l_notice_mail             | string             |          14 |
|   952 | ????????                                                                                                                                                                                        | live_course_notice_mail      | string             |          22 |
|   952 | ????????????????                                                                                                                                                                                | mark_best_reply              | string             |           4 |
|   952 | ???????????                                                                                                                                                                                     | platform_notice_mail         | string             |          13 |
|   952 | ????????                                                                                                                                                                                        | question_answered            | string             |           3 |
|   952 | ?????????                                                                 
最低0.47元/天 解锁文章
jessicaiu
关注
解决hive建表中文乱码问题
ZhShH0413的博客
05-30 4575
当hive建表字段注释中出现中文乱码时，可能是因为字符集编码不匹配所导致的。我们可以在建表语句中指定字符集编码来解决这个问题。参数，来指定字符集编码为 UTF-8。参数，来指定字符集编码为 UTF-8。这个参数可用于指定各种 CLI 输出数据的字符集编码，例如控制台输出、日志和报告等。需要注意的是，在进行配置时，建议采用统一的字符集编码，以确保所有代码能够正常工作。（3）判断hive的所依赖的mysql元数据库的编码格式是否是UTF-8。来指定使用 UTF-8 字符集编码。在这个示例中，我们通过设置。
Hive基础知识大全
最新发布
qq_54677773的博客
07-24 2785
Hive本质是将SQL转化为MapReduce的任务进行计算，底层由HDFS来提供数据存储。说白了hive可以理解为一个将SQL转换为MapReduce的任务的工具，甚至更进一步说hive就是MapReduce的一个客户端。Hive是数据库建模工具之一可以向Hive传入一条交互式SQL,在海量数据中查询分析得到结果的平台继承重写evaluate()，这个方法不是由接口定义的,因为它可接受的参数的个数,数据类型都是不确定的。Hive会检查UDF,看能否找到和函数调用相匹配的evaluate()方法。
Hive中文注释乱码问题的解决
张伟的专栏
07-03 2214
Hive中文注释乱码问题的解决 标签： hive中文注释乱码 在Hive中建表的时候，有时候难免要表中文注释，然而如果不经过配置，会导致desc某个表名的时候，直接以？的方式返回。 因此也来解决一下hive中文注释乱码的问题。由于HIVE的元数据是存在于MySQL上的，因此需要在mysql上进行元数据的候。 因此也来解决一下这个问题。 当hiv
hive中文注释乱码
AnameJL的博客
08-10 421
hive中文注释乱码问题   hive建表的过程经常会碰到字段的中文注释乱码的问题，下面就介绍下如何处理此类问题。 1. 修改元数据的编码 修改表字段注解和表注解 -- 修改表字段注解编码 ALTER TABLE columns_v2 MODIFY COLUMN COMMENT VARCHAR(256) CHARACTER SET utf8; -- 修改表名注解编码 ALTER TABLE table_params MODIFY COLUMN PARAM_VALUE VARCHAR(4000) CHAR
hive注释中文乱码解决方案
qq_43528451的博客
03-23 218
一、修改元数据表注解为UTF8 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PARTITION_PARAMS modify column PARAM_VALUE varchar(4000) characte
hive中文乱码解决方法
weixin_45425054的博客
03-11 4399
关于hive中的中文注释乱码问题解决 当我们创建hive表的时候，使用中文注释的话，通过desc查看表的信息时，会发现表的注释全是问号 这是因为我们hive配置表的元数据放到mysql中存储，mysql中默认表被创建的时候用的是默认的字符集(latin1)，所以会出现中文乱码 解决方案： （1）在Hive元数据存储的Mysql数据库（MetaStore）中，执行以下SQL： #修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(25
hive表出现中文显示？情况解决
xiaonuoyo的博客
08-12 1897
hive表、字段出现中文乱码情况解决
向hive插入数据时出现中文乱码
IceelfLuo的博客
08-10 1136
问题顾名思义，在通过shell或hue向hive插入数据时，有可能出现中文乱码。和运维GG聊了一下以后，说这个是集群缺陷问题，以后会解决。 那眼下的处理方式呢？我想了个简单的办法： --出现乱码 insert into temp.Iceelfluo_featurelist PARTITION(ymd='2020-08-10') values ("3517146571244","张三","6","0","3"); --不出现乱码 insert into temp.Iceelfluo_featurelist
解决Hadoop集群hive库建表中文和表数据乱码问题
奋斗的阿杰的博客
07-17 526
解决Hadoop集群hive库建表中文和表数据乱码问题
hive建表注释中文乱码问题（desc/show create table中文乱码问题）
qq_45124566的博客
12-05 4728
Hive建表注释中文乱码问题（desc/show create table） hive建表注释中文乱码问题 问题描述： create table test( id int comment '测试id', name string comment '测试姓名' ) comment '测试用表'; 使用上述建表语句，建表完成后，使用desc test/desc formatted test或者show create table test，看见的中文解释均为乱码。 问题原因： 针对 MySQL 字符集的问
Hive注释中文乱码解决
Little_fxc的博客
11-02 892
文章目录1. Hive注释中文乱码2. 针对元数据库metastore中的表,分区,视图的编码设置2.1. 进入数据库 Metastore 中执行以下 5 条 SQL 语句2.2. 修改 metastore 的连接 URL2.3. 验证 1. Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create table if not exists capacity_stats_live_access ( id bigint comment '主键',
Hive注释中文乱码的解决
h952520296的博客
07-13 1064
Hive注释中文乱码 创建表的时候，comment说明字段包含中文，表成功创建成功之后，中文说明显示乱码 create external table movie( userID int comment '用户ID', movieID int comment '电影ID', rating int comment '电影评分', timestamped bigint comment '评分时间戳', movieName string comment '电影名字', movieType str...
解决Hive中表注释中文乱码
搞数据
08-16 2475
如果Hive在建表的时候希望有中文注释，可以提前到hive的元数据存储数据库MySQL中执行刚刚的五条命令。
Hive comment中文乱码解决
llllalune的博客
02-20 614
由于hive底层的运行机制，即把元数据存储在MySQL中，但是MySQL的默认编码是支持Latin1的编码，不支持中文编码。数据库hive中的表就存储了hive的各种元数据信息。首先就是进入MySQL。
Hive中文乱码的解决方法
weixin_48663895的博客
01-12 1540
解决Hive中文乱码问题
Hive表中文注释乱码
dai451954706的专栏
06-21 3938
最近在使用Hive是发现desc查看表时，注释中的中文都是一问号的形式显示。经过查资料知道，Hive的元数据时存储在Mysql中的，因此我们需要对Mysql中相关表的字符编码进行修改。特在此备忘：     Hiv默认情况下我们需要将数据库的编码设置为lanin1.       alter database hive character set latin1;    
hive数据写入elasticsearch
weixin_34081595的博客
11-14 567
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive注释信息中文乱码解决
06-11
Hive注释信息中文乱码的解决方法有以下几种： 1.在Hive配置文件hive-site.xml中添加以下配置： ``` <property> <name>hive.cli.print.current.db</name> <value>true</value> </property> <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.cli.print.row.delimiter</name> <value>\n</value> </property> <property> <name>hive.cli.print.null.format</name> <value>NULL</value> </property> <property> <name>hive.resultset.use.unique.column.names</name> <value>false</value> </property> ``` 2.在Hive客户端执行命令时，通过设置字符集参数解决中文乱码问题，例如： ``` hive -hiveconf hive.cli.print.header=true --hiveconf mapred.output.charset=UTF-8 ``` 3.使用Hive的JDBC驱动进行连接，通过设置连接参数解决中文乱码问题，例如： ``` jdbc:hive2://localhost:10000/default;charset=UTF-8 ``` 注意：以上方法仅适用于Hive的注释信息中文乱码问题，如果查询结果中文乱码，还需要检查数据源和客户端的字符集设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值