Hive分区字段含中文报错问题解决方案

最新推荐文章于 2024-05-03 08:00:00 发布
最新推荐文章于 2024-05-03 08:00:00 发布
阅读量2.7k 收藏 4
点赞数 4
分类专栏： Hive 大数据 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mp9105/article/details/113984082
版权
本文详细讲述了在Hive中遇到中文分区名引发的非法字符集错误，并提供了两种解决方案：一是修改MySQL配置，二是调整Hive元数据库表的字符集。通过实例说明了如何解决Hive中文分区显示乱码和插入错误的问题。
摘要由CSDN通过智能技术生成

使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。

Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’

原因应该是分区表的编码和全局编码不相同造成的

提供两种解决方案:

  • 方案一：修改mysql配置

临时修改：进入mysql中设置如下参数

set character_set_client = utf8;
set character_set_connection = utf8;
set character_set_results = utf8;
 
SET collation_server = utf8_general_ci
SET collation_database = utf8_general_ci

永久修改：修改mysql配置文件后重启

[root@ambari03 etc] vim /etc/my.cnf
# [client]下添加如下内容
[client]
default-character-set=utf8
# [mysqld]下添加如下内容
[mysqld]
default-character-set=utf8
init_connect='SET NAMES utf8'
# [mysql]下添加如下内容
[mysql]
default-character-set=utf8

然后systemctl restart mysqld重启mysql服务

使用该方法后仍未能解决问题！

  • 方案二：修改mysql中Hive元数据库各个表的编码

进入mysql后，执行以下语句修改hive元数据表的编码信息

alter database hive_meta default character set utf8;
alter table BUCKETING_COLS default character set utf8;
alter table CDS default character set utf8;
alter table COLUMNS_V2 default character set utf8;
alter table DATABASE_PARAMS default character set utf8;
alter table DBS default character set utf8;
alter table FUNCS default character set utf8;
alter table FUNC_RU default character set utf8;
alter table GLOBAL_PRIVS default character set utf8;
alter table PARTITIONS default character set utf8;
alter table PARTITION_KEYS default character set utf8;
alter table PARTITION_KEY_VALS default character set utf8;
alter table PARTITION_PARAMS default character set utf8;
-- alter table PART_COL_STATS default character set utf8;
alter table ROLES default character set utf8;
alter table SDS default character set utf8;
alter table SD_PARAMS default character set utf8;
alter table SEQUENCE_TABLE default character set utf8;
alter table SERDES default character set utf8;
alter table SERDE_PARAMS default character set utf8;
alter table SKEWED_COL_NAMES default character set utf8;
alter table SKEWED_COL_VALUE_LOC_MAP default character set utf8;
alter table SKEWED_STRING_LIST default character set utf8;
alter table SKEWED_STRING_LIST_VALUES default character set utf8;
alter table SKEWED_VALUES default character set utf8;
alter table SORT_COLS default character set utf8;
alter table TABLE_PARAMS default character set utf8;
alter table TAB_COL_STATS default character set utf8;
alter table TBLS default character set utf8;
alter table VERSION default character set utf8;
alter table BUCKETING_COLS convert to character set utf8;
alter table CDS convert to character set utf8;
alter table COLUMNS_V2 convert to character set utf8;
alter table DATABASE_PARAMS convert to character set utf8;
alter table DBS convert to character set utf8;
alter table FUNCS convert to character set utf8;
alter table FUNC_RU convert to character set utf8;
alter table GLOBAL_PRIVS convert to character set utf8;
alter table PARTITIONS convert to character set utf8;
alter table PARTITION_KEYS convert to character set utf8;
alter table PARTITION_KEY_VALS convert to character set utf8;
alter table PARTITION_PARAMS convert to character set utf8;
-- alter table PART_COL_STATS convert to character set utf8;
alter table ROLES convert to character set utf8;
alter table SDS convert to character set utf8;
alter table SD_PARAMS convert to character set utf8;
alter table SEQUENCE_TABLE convert to character set utf8;
alter table SERDES convert to character set utf8;
alter table SERDE_PARAMS convert to character set utf8;
alter table SKEWED_COL_NAMES convert to character set utf8;
alter table SKEWED_COL_VALUE_LOC_MAP convert to character set utf8;
alter table SKEWED_STRING_LIST convert to character set utf8;
alter table SKEWED_STRING_LIST_VALUES convert to character set utf8;
alter table SKEWED_VALUES convert to character set utf8;
alter table SORT_COLS convert to character set utf8;
alter table TABLE_PARAMS convert to character set utf8;
alter table TAB_COL_STATS convert to character set utf8;
alter table TBLS convert to character set utf8;
alter table VERSION convert to character set utf8;
-- alter table PART_COL_STATS convert to character set utf8;
SET character_set_client = utf8 ;
-- SET character_set_connection = utf8 ;
 
-- alter table PART_COL_STATS convert to character set utf8;
SET character_set_database = utf8 ;
SET character_set_results = utf8 ;
SET character_set_server = utf8 ;
-- SET collation_connection = utf8 ;
-- SET collation_database = utf8 ;
-- SET collation_server = utf8 ;
SET NAMES 'utf8';

修改后能够插入带有中文分区的表格，但是插入后虽然可以查询到数据已经插入，Hive仍然会报错

查看日志后定位到如下错误

2021-02-23T10:54:26,249 ERROR [HiveServer2-Background-Pool: Thread-248] exec.StatsTask: Failed to run stats task
org.apache.hadoop.hive.ql.metadata.HiveException: MetaException(message:Insert of object "org.apache.hadoop.hive.metastore.model.MPartitionColumnStatistics@710c136f" using statement "INSERT INTO `PART_COL_STATS` (`CS_ID`,`AVG_COL_LEN`,`BIT_VECTOR`,`CAT_NAME`,`COLUMN_NAME`,`COLUMN_TYPE`,`DB_NAME`,`BIG_DECIMAL_HIGH_VALUE`,`BIG_DECIMAL_LOW_VALUE`,`DOUBLE_HIGH_VALUE`,`DOUBLE_LOW_VALUE`,`LAST_ANALYZED`,`LONG_HIGH_VALUE`,`LONG_LOW_VALUE`,`MAX_COL_LEN`,`NUM_DISTINCTS`,`NUM_FALSES`,`NUM_NULLS`,`NUM_TRUES`,`PART_ID`,`PARTITION_NAME`,`TABLE_NAME`) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)" failed : Incorrect string value: '\xE6\xB9\x96\xE5\x8C\x97' for column 'PARTITION_NAME' at row 1)

Mysql中查看metastore库的ART_COL_STATS表

use metastore;
-- show create table PART_COL_STATS;
show full columns from PART_COL_STATS;

部分字段结果如下

FieldTypeCollation
CS_IDbigint(20)
CAT_NAMEvarchar(256)latin1_bin
DB_NAMEvarchar(128)latin1_bin
TABLE_NAMEvarchar(256)latin1_bin
PARTITION_NAMEvarchar(500)latin1_bin
COLUMN_NAMEvarchar(767)latin1_bin
COLUMN_TYPEvarchar(128)latin1_bin
PART_IDbigint(20)
LONG_LOW_VALUEbigint(20)
LONG_HIGH_VALUEbigint(20)
DOUBLE_HIGH_VALUEdouble(53,4)
DOUBLE_LOW_VALUEdouble(53,4)
BIG_DECIMAL_LOW_VALUEvarchar(4000)latin1_bin
BIG_DECIMAL_HIGH_VALUEvarchar(4000)latin1_bin
NUM_NULLSbigint(20)
NUM_DISTINCTSbigint(20)
BIT_VECTORblob
AVG_COL_LENdouble(53,4)
MAX_COL_LENbigint(20)
NUM_TRUESbigint(20)
NUM_FALSESbigint(20)
LAST_ANALYZEDbigint(20)

可以看到需要PARTITION_NAME字段编码仍然为latin1，因此需要将PARTITION_NAME字段编码修改为utf8

use metastore;
alter table PART_COL_STATS modify column PARTITION_NAME varchar(500) character set utf8;

修改后重新插入带有中文分区的表格，可以正常运行

参考案例如下

create database mydb;
use mydb;
-- ① 创建不带分区的stu表
create table stu
(
    name string,
    age  int
) row format delimited fields terminated by '\t';

-- ② 上传数据到hdfs对应目录

-- ③ 创建分区表emp
create table emp
(
    name string,
    age  int
)
    partitioned by (provice string)
    row format delimited fields terminated by '\t';

-- ④ 插入数据含有中文分区的emp表中
insert into emp partition(provice = "湖北")
select * from stu;

参考资料：

hive报错Illegal mix of collations

Hive 解决中文分区问题 Illegal mix of collations

Hive 中文分区 展示 乱码 注释乱码问题

Hive数据分区时分区字段不可为中文
weixin_41367158的博客
03-05 187
问题原因：hive配置文件内，没有识别中文的编码集，需手动修改配置文件。
(13)Hive调优——动态分区导致的小文件问题
爱吃辣条的博客
02-14 2590
Hive——动态分区导致的小文件问题
Hive分区表伪字段分区时出现中文导致表删除(drop table)时hive卡死解决办法
qq_52241909的博客
06-25 1198
hive分区时分区字段产生中文导致删除表时卡住解决方法 在使用hive分区功能时生成的分区字段和分区目录取决于该分区字段的数据，由于该字段数据为中文汉字，则导致分区字段和分区目录中出现中文，造成删除该表令hive卡住运行不了后面的操作 WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (
hive 分区值支持中文
weixin_43979134的博客
12-01 3865
背景 hive 插入分区时（insert into 或者add partition等操作）分区值是中文的时候，就出现报错。 alter table test add partition(part=“中文”); hivemetastore报错信息 2021-12-01T15:25:03,474 ERROR [pool-8-thread-134] bonecp.ConnectionHandle: Database access problem. Killing off this connection and a
hive中文分区字段设置
qq_41458071的博客
05-12 2196
hive存数据是中文分区字段,需要设置 查看是否都是utf-8 show variables like '%char%'; 如不是需配置my.cnf(/etc/my.cnf或/usr/my.cnf) [mysqld] character-set-server=utf8 重启mysql service mysql restart #修改hive database编码 alter database hive default character set utf8; #修改table编码...
Hive 动态分区以及分区以及中文分区字段
m0_73098549的博客
06-06 4113
hive 提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区。
【DATAX】datax读取hive分区表时，空分区任务报错问题解决
快乐星球
09-20 1922
datax读取hive表，hdfsreader读取空分区时，任务报错问题解决
hive添加分区字段
热门推荐
hah123456654的博客
12-12 3万+
静态分区表： 一级分区表： CREATE TABLE order_created_partition ( orderNumber STRING , event_time STRING ) PARTITIONED BY (event_month string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
hive2.1.1中orc格式读取报数组越界错误解决方法
05-24
在描述中提到的解决方案是替换相关的jar包，具体为`hive-exec-2.1.1-cdh6.3.2.jar`和`hive-orc-2.1.1-cdh6.3.2.jar`。这两个jar包分别是Hive执行引擎和ORC文件格式处理的实现，更新它们可能是为了修复特定版本中的...
datax数据从hive导入mysql数据缺失解决
01-18
考虑到修改 DataX 源码的难度和复杂性，本次采取了一种更为简单的解决方案：通过调整 Hive 中的参数配置来间接解决问题。具体来说，减小 `hive.merge.smallfiles.avgsize` 的值，使生成的文件块大小均不超过 256M。 ...
hive3删除分区时显示未找到该分区
Just_youHG的博客
11-04 2444
Hive3删除分区时显示未找到该分区 问题描述：在执行"alter table student_tmp drop partition(p_date_sttc=20191001);"命令时报错！！ 1.错误描述 Error: Error while compiling statement: FAILED: SemanticException [Error 10006]: Partition no...
Hadoop-hive2
zgq258的博客
04-11 1750
hive-jdbc
hive分区上传数据
最新发布
2301_77836489的博客
05-03 833
hive分区上传数据
Hive建表出现中文字段报错解决办法
Mage的博客
04-10 4066
遇到这个问题大家可能都会想到去修改字符编码，出发思路是对的 问题 ： 修改哪里字符编码 大家都知道hive建表的元数据会存储在Mysql数据库中，具体的字段相关的对应元数据表COLUMNS_V2 我就会想到去改表COLUMNS_V2的字符编码为utf8，如下mysql命令行执行： alter table COLUMNS_V2 modify column COMMENT varchar(256) ...
Hive 解决中文分区问题 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for
记录，学习。
02-04 5329
Hive 中文分区 初学Hive。在创建动态分区的时候。报错。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’ 执行SQL为： INSERT INTO TABLE test_company PARTITION (p_provinc
hivesql查询字段重命名带中文处理办法
Lu_Luke的博客
03-26 8623
当在使用hive sql查询hive表并希望生成的字段表头为中文时，可使用反引号(tab键上方的`) 例如： select name as `名称`, age as `年龄` from tmp.table_name
hive 中文字段解决方法
qq_33290422的博客
10-12 5266
使用Impala在kudu中创建含中文字段名的表 Impala版本： 2.7.0+cdh5.10.2+0 Kudu版本：1.4.0+cdh5.12.0+0 Hue版本：3.9.0+cdh5.10.2+4153 因业务需要，需要在kudu中创建含有中文字段的表。原来的方案是直接在Hue中Impala查询界面执行建表脚本，但是表中含有中文字段时，就会执行出错，建表脚本和出错信息如下： INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLU...
hive：条件：where条件字段
不花的花和尚的博客
06-24 6010
where aec.addtime BETWEEN '2019-01-01' AND '2019-06-23' and !ai.arrivaldate >'2018-01-01 00:00:00' 加！取反。
hive启动出错 org.apache.hadoop.hive.ql.metadata.HiveException
bwddd的博客
02-13 1万+
刚设置好hive的配置文件, 元数据存储使用的是mysql, 然后进行hive进入命令行模式, 使用show databases发现报异常 看报错信息是元数据异常. 那么一定是与mysql的连接,或者元数据的存储出现了问题. 上网百度找了一些答案,说是需要进行元数据格式化, 于是尝试了下, 发现还是报错. # 格式化元数据 schematool -dbType mysql -initS...
hive查询decimal类型字段报错
07-28
回答: 当在Hive中查询decimal类型字段时报错，可能是由于以下原因导致的。首先，Hive中的decimal字段默认精度为0，如果不指定小数点，数据将被四舍五入。例如，0.82在Hive中会变成1。因此，在建表时最好指定精度，如decimal(10,2)。\[1\]其次，当使用Sqoop导出数据时，需要注意设置--input-null-string '\\N'和--input-null-non-string '\\N'这两个参数。因为Hive中的null默认是\N，而Sqoop在导出数据时会解析\N。如果目标关系型数据库中的表字段不是string类型，就会报错。通过设置这两个参数，Sqoop会知道\N表示null，而不会将其解析为字符。\[2\]最后，如果在修改了字段类型后，表的schema发生了变化，而之前的分区仍然使用旧的schema，就会导致表和分区的schema不一致，从而导致select报错。在这种情况下，需要更新分区的schema以与表的schema保持一致。\[3\] #### 引用[.reference_title] - *1* *2* [Hadoop记录——hive中的decimal字段，shell的数据类型以及sqoop导出空string报错](https://blog.csdn.net/chenKFKevin/article/details/53199925)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [hive字段类型修改问题总结](https://blog.csdn.net/qq_36302506/article/details/117091191)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值