Hive建表出现中文字段报错解决办法

最新推荐文章于 2024-07-10 16:42:23 发布
最新推荐文章于 2024-07-10 16:42:23 发布
阅读量3.9k 收藏 7
点赞数 2
分类专栏： hive hive建表 hive建表出现中文字段 hive建表中文字段
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Superman404/article/details/89188063
版权

遇到这个问题大家可能都会想到去修改字符编码，出发思路是对的
问题 ： 修改哪里字符编码
大家都知道hive建表的元数据会存储在Mysql数据库中，具体的字段相关信息存储在表COLUMNS_V2
我就会想到去改表COLUMNS_V2的字符编码为utf8，如下mysql命令行执行：

alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8

结果建表时用到中文字段时还是会报错

这时我们去具体查看一下这张表具体内容

COLUMNS_V2表存储表对应的字段信息。

元数据表字段说明
CD_ID字段信息ID
COMMENT字段注释
COLUMN_NAME字段名
TYPE_NAME字段类型
INTEGER_IDX字段顺序

从上表我们发现hive表字段名存储在表COLUMNS_V2的COLUMN_NAME这一列当中，这时我们去观察这个字段的字符集
在这里插入图片描述
可以看到字符集为latin2 我们把他改成utf-8保持 然后hive建表出现中文字段就不会报错了–

Superman404
关注
专栏目录
hive创表中文字段报错:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaExcepti
weixin_46122692的博客
06-24 2452
1、详细报错信息 ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Add request failed : INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLUMN_NAME`,`TYPE_NAME`,`INTEGER_IDX`) VALUES (?,?,?,?,?) ) 运行作业出
Hive建表、常用语法、遇到的问题总结
YUYUYUWW的博客
07-07 1483
1、字符串：string 对长度没有限制INT ：4字节带符号整数，取值范围-2,147,483,648 to 2,147,483,647BIGINT：8字节带符号整数，取值范围-9,223,372,036,854,775,808 to 9,223,372,036,854,775,807FLOAT：4字节单精度浮点数DOUBLE：8字节双精度浮点数DECIMAL：17字节，如DECIMAL(9,8)代表最多9位数字，后8位是小数。
Hive数据处理中去除字段中的换行符、分割符
qq_40389620的博客
09-01 1万+
demo: regexp_replace(需要处理的字段名称,'\\n|\\r|\\t','') as 重新命名
Hive SQL执行顺序
hongmofang10的博客
07-01 1878
1.执行顺序 在 hive 和 mysql 中都可以通过 explain+sql 语句，来查看执行顺序。对于一条标准 sql 语句，它的书写顺序是这样的： select … from … where … group by … having … order by … limit … （1）mysql 语句执行顺序： from... where...group by... having.... select ... order by... limit … （2）hive 语句执行顺序： from … whe
hive 中文字段解决方法
qq_33290422的博客
10-12 5170
使用Impala在kudu中创建含中文字段名的表 Impala版本： 2.7.0+cdh5.10.2+0 Kudu版本：1.4.0+cdh5.12.0+0 Hue版本：3.9.0+cdh5.10.2+4153 因业务需要，需要在kudu中创建含有中文字段的表。原来的方案是直接在Hue中Impala查询界面执行建表脚本，但是表中含有中文字段时，就会执行出错，建表脚本和出错信息如下： INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLU...
Hive分区字段含中文报错问题解决方案
mp9105的博客
02-23 2687
使用Hive创建动态分区时，如果分区中含有中文，会报以下错误。 Illegal mix of collations (latin1_bin,IMPLICIT) and (utf8_general_ci,COERCIBLE) for operation ‘=’ 原因应该是分区表的编码和全局编码不相同造成的 提供两种解决方案: 方案一：修改mysql配置 临时修改：进入mysql中设置如下参数 set character_set_client = utf8; set character_set_conne
问题解决-Hive创建汉字字段表时，报错org.apache.hadoop.hive.ql.exec.DDLTask. MetaException
software_student的专栏
07-02 3879
项目场景： 在大数据集群场景中，需求方（客户）会给你提出很多奇葩问题，让一个大数据职场小白的我为之抓狂，在一顿挠心之后，还得想办法去满足需求方提出的需求 前不久我的需求方就是我们CDH集群的使用方-数据应用开发团队给我出了个难题，说业务部门想要使用汉语字段的表使用，也就是表结构中字段名称必须是汉语，俗话说，中国文化博大精深，汉语最为精髓。 汉语考试： 1.“小明，今晚有思修课，你去不去？”，“我去！我不去！”，问小明到底去不没去？ 2.“小明，窗台上落了鸟屎，去擦一下好吗？”，“我擦，我不擦”，问小明到底
hive查询时使用中文别名
热门推荐
大数据技术杂谈
11-11 2万+
在hive查询时发现使用英文别名是可以的， SELECT st.source_task_order A, st.creation_date B FROM tr_source_task st; 但是在使用中文别名时出现如下错误 解决方法： 将中文别名用反单引号（ tab键上面的那个键可以敲出来）引起来即可。 SELECT source_task_order as `协作任务单号
Hive修改表
weixin_33725126的博客
12-29 468
Alter Table 语句 它是在Hive中用来修改的表。 语法 声明接受任意属性，我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spec ...]) ALTER TABLE name DROP [COLUMN] column_name...
hive建表语句字段类型为text报错
07-08
在Hive中，创建表时使用"TEXT"作为字段类型应该是有效的。如果您遇到了错误，可能有以下几个可能的原因： 1. 检查您的语法：确保您的建表语句的语法是正确的。确保在字段类型后面加上括号，例如：`field_name TEXT`...
hive建表语句comment 中文描述乱码
hello_java_lcl的博客
12-29 4164
使用Hive创建有中文注释的表时，使用以下建表语句： create table if not exists dwd_user ( cookie string COMMENT 'cookie', country string COMMENT '国家', province string COMMENT '省', city string COMMENT '城市' ) COMMENT '埋点中用户信息筛选' partitioned by (everyday strin.
hive查询decimal类型字段报错
07-28
回答: 当在Hive中查询decimal类型字段时报错，可能是由于以下原因导致的。首先，Hive中的decimal字段默认精度为0，如果不指定小数点，数据将被四舍五入。例如，0.82在Hive中会变成1。因此，在建表时最好指定精度，如...
hive：条件：where条件字段
不花的花和尚的博客
06-24 5994
where aec.addtime BETWEEN '2019-01-01' AND '2019-06-23' and !ai.arrivaldate >'2018-01-01 00:00:00' 加！取反。
hive中文分区字段设置
qq_41458071的博客
05-12 2166
hive存数据是中文分区字段,需要设置 查看是否都是utf-8 show variables like '%char%'; 如不是需配置my.cnf(/etc/my.cnf或/usr/my.cnf) [mysqld] character-set-server=utf8 重启mysql service mysql restart #修改hive database编码 alter database hive default character set utf8; #修改table编码...
开启HIVE中分区表支持中文字段
最新发布
2301_77836489的博客
07-10 511
开启HIVE中分区表支持中文字段
hive 分区中存在中文导致表删除不掉处理方案
yuexuelingfeng的专栏
12-31 837
在实际项目中，修改原来的表结构，增加一个交易类型字段作为组合分区，由于是BI展示的表，交易类型实际存储的是中文，而且是已经投入使用的表，不能重新修改表名。 1.查看表分区结构如下： show partitions ads_mk_coupon_receive_use_info; 2.尝试通过删表，然后一直卡着没有任何反应，然后删除第一个分区，显示是成功的，但是结果并没有删除掉：alter table ads_mk_coupon_receive_use_info drop partition(ds_dt=.
hive表中文字段乱码解决办法
超的专栏
03-07 1917
hive表中文字段乱码解决办法
hive中文字段乱码问题
u010832253的专栏
01-10 3337
建表有中文字段，有乱码，因为元数据的columns_v2表默认用的是latin1编码，有中文字段时需要对它进行修改 进入mysql中，执行 alter table columns_v2 modify column COLUMN_NAME varchar(128) character set utf8; 注释乱码一起解决了 1、然后进入数据库执行以下5条SQL语句： (1)
hive使用时,表格元数据中文出现乱码的情况解决方法
LastYHM的博客
10-30 662
问题提出: hive的元数据保存在Mysql中,使用的是latin1编码方式,如果添加列名的解释为中文会造成乱码的问题. 解决方法一: 读取时将元数据库的metastore编码方法给为UTF-8, 结果: 会造成hive无法读取元数据的问题,不能影响到元数据其他字段的编码格式 解决方法二: 单独修改中文注释的字段,修改的sql如下: #修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值