Hive中文乱码问题之一的解决

最新推荐文章于 2024-07-02 08:00:19 发布
最新推荐文章于 2024-07-02 08:00:19 发布
阅读量6.1k 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzxtc2008/article/details/43019885
版权

问题很简单，终端查询hive，结果显示乱码

分析：直接检查终端配置，已经是utf-8显示；

继续检查linux上的本地导入文件，导入文件内容，发现文件中的中文已经是乱码。

回到windows查看导入文件（txt），发现编码是ANSI的编码，另存为UTF-8

重新上传， load data ，查询hive，中文显示正常。

以上只是乱码的一种最简单问题，仅供参考

wzxtc2008
关注
专栏目录
hive乱码彻底解决方案全记录
静待花开
03-31 8325
hive乱码主要分为三种： 一种是hive cli查询乱码，但是在ambari端查看正常； 一种是导入汉字数据后，所有客户端方式查询都乱码； 一种是hive cli查询没有乱码，但是通过jdbc或者hiveserver2查询出现了乱码。 下面分别列出亲测可行的解决方案： 第一种：hive cli查询乱码，但是在ambari端查看正常 表现：在hive基础命令行下后查询时，中文出现乱码，但是am...
如何解决oracle中文乱码问题,oracle中解决中文乱码问题
weixin_30452659的博客
04-12 3021
中文乱码问题解决1.查看服务器端编码select userenv('language') from dual;查到结果是：USERENV('LANGUAGE')----------------------------------------------------AMERICAN_AMERICA.ZHS16GBK2.执行语句 select * from V$NLS_PARAMETERS;查看到pa...
cli正常显示中文的hive-0.10.0
08-21
官方版的hive，通过命令：desc table1，是不能正常显示中文注释的，附件是对源码改造过的hive-0.10.0可以通过命令：desc table1 正常显示中文注释
往hive中导入文件后查看出现中文乱码
热门推荐
涤生大数据
06-25 1万+
往hive中导入.txt或者.csv文件，导入没有报错，导入后通过查询界面发现，中文字段出现乱码的情况。 因为Hive默认是所有文件都是UTF-8的（utf-8本身支持中文没有问题的。hadoop涉及输出文本的默认输出编码统一用没有BOM的UTF-8的形式，但是一般我们导入的文件都是在windows下编辑的，而windows默认的中文文本输出编码格式为GBK.） Hive将按照UTF8编码格式...
hive乱码问题完全解决方案
最新发布
sunxunyong的博客
07-02 279
在hive-site.xml里面的mysql jdbc配置中增加?A:修改字段注释和表注解。#修改视图，支持视图中文。B:修改分区字段注解。
hive中文乱码问题
bigdataf的博客
09-11 800
hive针对元数据库metastore中的表,分区,视图的编码设置因为我们知道 metastore 支持数据库级别，表级别的字符集是 latin1，那么我们只需要把相应注释的地方的字符集由 latin1 改成 utf-8，就可以了。用到注释的就三个地方，表、分区、视图。如下修改分为两个步骤：(1)进入数据库 Metastore 中执行以下 5 条 SQL 语句 ①修改表字段注解和表注解 alter
中文导表到hive，出现乱码
qq_43893755的博客
04-25 452
中文导表到hive出现乱码，解决办法： 用edit plus++ 打开，转为utf-8,另存为，再重新导入hive里即可； 补充：load加载到HDFS 导数据到hdfs load data local inpath 'file:/tmp/person.txt' into table person_part partition(city='jinan'); 在hive里建表： create table ODS_PRODUCT_MSG_MM ( USER_ID STRING, CUST_ID STRIN
Hive load data 时中文乱码的解决
靓仔！——没错！我叫你呢！
06-17 1348
检查建表的字段分隔符，我的是制表符（\t） 所以在保存为文本文件的时候要注意是要用制表符（\t）分隔
excel文件导入hive乱码_把数据库数据导出到excel
weixin_39689428的博客
12-20 515
SQL Server BI Step by Step 2--- 使用SSIS进行简单的数据导入导出让我们首先开始学习SSIS吧,利用SSIS把SQL Server中的数据导出.首先,打开Vs.net 2005,选择商业智能项目,然后选择模板中的Integration Service项目,输入项目名称:创建好后,我们就在默认的Package包中进行设计(关于一...文章长征6号2016-11-281...
sqoop数据导入hive 遇到的问题
asd1456732891的博客
07-19 1584
1.ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.ObjectMapper.readerFor(Ljava/lang/Class;)Lcom/fasterxml/jackson/databind/ObjectReader; 造成的原因：sqoop与hive使用的jackson包的版本...
hive load data使用总结，很好解决了insert插入中文数据后乱码问题
a200822146085的博客
03-12 6210
hive insert 中文数据乱码，如下： insert into dt.test_test PARTITION (ymd = '2018-12-03') values("name#certno","张三#532901199103131815","FINANCE_ORGANIZATION","AA00002","asdfasdf&quot
hive导入csv出现中文乱码问题
小白成小黑
05-31 1998
在HIVE中序列化的时候需要指定一下字符编码，这是HIVE issue解决办法中找到的。https://issues.apache.org/jira/browse/HIVE-7142。依照这个文档的说明，对指定的表进行设置，即设置序列化编码为GBK，以WINDOW拷贝导入的数据编码相匹配。ALTER TABLE ** SET SERDEPROPERTIES ('serialization.enco...
hive中文乱码问题解决
loaDforK的抄抄写写
05-07 645
hive中文乱码问题解决 原因：hive的元数据库（mysql等）字符集问题 在hive的元数据库，一般是mysql中执行下面所有语句 use hive; -- 修改表字段注解 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; -- 修改表注解 alter table TABLE_PARA...
Hive中文乱码(JDBC连接HiveServer2)问题解决
myboyliu2007的专栏
07-16 8000
工作中遇到通过jdbc连接hive服务器(我们是用HiveServer2)，获取的中文是乱码的问题。使用beeline有同样的效果，而用hive命令行却能正常显示中文。而写入，读取的文件，都是用的UTF-8，Java环境也都是UTF-8字符集。这是怎么回事？ 问题重现 我们可以以如下方式重现： shell> cat upload.txt row1 行2 行3 row4
解决Hive中文乱码
神罗天征
10-15 6309
在Hive中建表时，添加字段commment中文注释以便查看，但是desc 表名时出现乱码"??"，网上查阅资料总结了一下解决方案，步骤如下： 1>在/etc/my.cnf中的[mysqld]后添加以下内容  init_connect='SET collation_connection = utf8_unicode_ci'  init_connect='SET NAMES utf8' ...
insert 导入 hive和中文乱码问题导入CSV格式的数据到hive表格
chubbypangpang的博客
05-27 1002
导入CSV格式的数据到hive表格和insert 导入 hive，中文乱码问题 一、insert 插入数据中文乱码 hive写入数据的方式有三种，最为熟知的insert ，但是在用insert 单句执行的时候，中文导入是会出现乱码的，我试了网上大家给出来的解决方法，好像都不行，最后终于找到了一个方法 insert overwrite table mergeflie select 1,decode(binary('维护'),'utf-8'),18; 用这个语句就可以解决insert插入数据中文乱码的问题
load csv文件数据到hive，中文乱码解决办法
baidu_41805096的博客
07-14 1105
load data local inpath ‘/home/bgyetl/etl/tmp/new_item_code.csv’ into table test.item_info; 数据乱码： 重新查询数据，中文不乱码了
Hive导入数据文件时中文乱码的解决
sysmedia的博客
02-23 4118
1.不要用SecureCRT，要用putty 2. 设置服务器的LANG＝UTF8 3. 数据文件也要用UTF8
hive中文乱码如何解决
07-27
在Hive中遇到中文乱码问题，可以尝试以下几种解决方法： 1. 设置Hive配置文件：在hive-site.xml文件中添加以下配置： ``` <property> <name>hive.cli.print.header</name> <value>true</value> </property> <property> <name>hive.resultset.use.unique.column.names</name> <value>false</value> </property> ``` 这样可以确保Hive在输出结果时正确显示中文。 2. 设置Hadoop配置文件：在hadoop-env.sh文件中添加以下配置： ``` export HADOOP_CLIENT_OPTS="-Dfile.encoding=UTF-8" ``` 这样可以确保Hadoop和Hive使用UTF-8编码。 3. 使用UTF-8字符集：在Hive查询语句中，可以使用UTF-8字符集来处理中文数据。例如： ``` SET mapred.output.charset=UTF-8; SET mapred.input.charset=UTF-8; SET hive.charset=UTF-8; ``` 4. 检查数据源编码：如果数据源是其他系统导入到Hive中的，需确保数据源的编码与Hive一致。可以使用iconv等工具进行编码转换。 5. 使用正确的字符集函数：在Hive查询中，可以使用内置的字符集函数处理中文数据。例如，使用`CONVERT`函数将GBK编码转换为UTF-8编码： ``` SELECT CONVERT(column_name, 'GBK', 'UTF-8') FROM table_name; ``` 尝试以上方法后，应该能够解决Hive中文乱码的问题。如果问题仍然存在，可以进一步检查Hive和Hadoop的版本兼容性，或者考虑使用其他工具进行数据处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值