hive同步hbase数据报错 columns has 10elements while hbase.columns.mapping has 11 elements

最新推荐文章于 2022-11-03 14:24:03 发布
最新推荐文章于 2022-11-03 14:24:03 发布
阅读量4.1k 收藏 6
点赞数 13
分类专栏： Bug解决 文章标签： 云计算/大数据 Hadoop Hive bug解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44318830/article/details/103797561
版权
在尝试将Hive表数据同步到HBase时遇到异常，提示HBase有11个元素而Hive有10个。问题在于HBase表结构默认包含一个'key'字段，而在Hive表中未明确包含。解决方案是在创建Hive表时添加'key'字段，或者在HBase表结构中显式定义'key'，以确保字段数量一致。
摘要由CSDN通过智能技术生成

今天做hive建表数据同步hbase时报了下面这个异常。

在这里插入图片描述

翻译过来大致就是hbase中有11个字段,而hive中只有10个字段，很明显需要同步数据的两个表的字段数不一致!
在这里插入图片描述

但问题可没有简单!

在反复确认业务需求的字段数为10个，我就开始纳闷了为啥异常中总说Hbase中有11个字段？

在这里插入图片描述

后来查了多方资料后终于得出了答案:

在创建hive/hbase相关联的表时，hbase表结构默认会有一个字段key，如果没有一个显示的字段’key’那么在创建表的进修，会自己创建，这样hive对应的表就会出现问题，所以在hive对应的表里一定要加上key这个字段，为了避免这个问题，在hbase表结构里可以显示的添加’key’字段，这样不容易出问题。

所以我们在创建的hive表中再加一个string 类型的 key就好了٩(๑❛ᴗ❛๑)۶

在这里插入图片描述

大数据梦想家
关注
专栏目录
hive和hbase整合
10-30
配置，测试，导入数据详细操作，CREATE TABLE hive_hbase_table(key int, value string,name string) hadoop jar /usr/lib/hbase/hbase-0.90.4-cdh3u3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY, catgyname,catgyid1,catgyname1,catgyid2,catgyname2,catgyid3,catgyname3,catgyid4,catgyname4,catgyid5,catgyname5,catgyid6,catgyname6,catgyid7,catgyname7,catgyid8,catgyname8,catgyid9,catgyname9,levelnum,catgyno,createtmp idap_dim_chrg_item_catgy /user/hive/staging/idap_dim_chrg_item_catgy 注意导入的时候要先在hbase中创建idap_dim_chrg_item_catgy这个表 create
hive-hbase集成 column mapping
weixin_33826609的博客
10-10 817
2019独角兽企业重金招聘Python工程师标准>>> ...
记一次the hbase columns mapping contains a badly formed column问题
wqy55621594的博客
02-25 1218
hive创建Hbase映射表成功,但是查询时报错如下: 查询相关资料没有什么结果,查看了CDH社区发现类似问题 https://community.cloudera.com/t5/Support-Questions/Number-of-column-limitations-in-hive-over-hbase-tables/m-p/147569 但是不同的是别人的报错内容很清晰,跟我的完全不同,但是也给了我一些提示,是不是列数过多导致得,于是我开始排查hbase.columns,.mapping 最后发现
hive集成hbase之创建映射表的两种方式
v15220的博客
06-06 2138
hive-hbase映射表内部表：新表格，原hbase中不含该表，在hive中删除映射表亦会同步删除hbase中被映射的表；外部表：hbase中含有该表格，在hbase建立映射表，hive中的映射表被删除不影响hbase中的表
hive与hbase整合过程
wulantian的专栏
07-25 2万+
hive与hbase整合过程---coco # by coco # 2014-07-25  本文主要实现一下目标：    1. 在hive中创建的表能直接创建保存到hbase中。    2. hive中的表插入数据，插入的数据会同步更新到hbase对应的表中。    3. hbase对应的列簇值变更，也会在Hive中对应的表中变更。    4. 实现了多列，多列簇的转
Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令
Mogeko1的博客
11-03 3525
Hive 与 Hbase表映射（内部表与外部表），Hbase常用命令
《转载，亲测通过》hbase hive 数据表映射关联
machen990519的博客
04-11 847
Hive整合HBase的环境配置以及测试 1，环境配置 因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。所以只需要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就可以了。 切换到hive/lib目录下 输入:
columns has 234 elements while hbase.columns.mapping has 92 elements (counting the key if implicit))
lin的专栏
04-05 1389
我正在尝试使用现有的Hbase表创建和集成Hive表。它创建了一个蜂巢表。但是当我尝试hive视图时，它会抛出以下异常，尤其是当列数超过数量时。 我检查了hbase和hive中的＃列相同。没有得到适当的解决方案来调试它 columnshas234elementswhilehbase.columns.mappinghas92elements(countingthekey...
详解hbase与hive数据同步
08-29
详解HBase与Hive数据同步 HBase与Hive数据同步是大数据处理中常见的一种数据集成方式。HBase是一种NoSQL数据库，适合存储大量半结构化和非结构化数据，而Hive是基于Hadoop的数据仓库工具，用于数据分析和处理。两者...
Hive数据导入HBase的方法.docx
08-19
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table"); 然后，创建一个原始的 ...
hive 整合 hbase
10-10
"hbase.columns.mapping"=":key,f1:,f2:" ) TBLPROPERTIES ("hbase.table.name"="h2h"); ``` 这里创建了一个名为`h2h`的外部表，该表与HBase中的同名表相对应。 - **向Hive表插入数据**： - 方法一：先创建一...
大数据工具篇之Hive与HBase整合完整教程
07-03
"hbase.columns.mapping" = ":key,cf1:q1,cf1:q2,...", "hbase.table.name" = "my_hbase_table" ); ``` 2. **导入数据到HBase**： - 可以通过 Hive 的 INSERT INTO 语句将数据导入到 HBase 表中。 ```sql ...
HBase的业务流程
weixin_45764461的博客
01-06 194
创建库： create database 库名; 创建表入库： create table 表名( a string, b string, c string) row format delimited fields terminated by “:” --> 按什么切分 stored as textfile; 导入预处理之后的数据刀原始表中的语句 load data local inpath...
hive与hbase整合过程及遇到的错误锦集
C_time的博客
08-20 3652
1.首先清楚 版本依赖错误： 我的hive是1.2.1 hbase也是1.2.1 然后 hive下面的lib目录有个hive-hbase-handler-1.2.1.jar 包，在你第一次在hive上建与hbase表时，会产生 Cannot find class 'org.apache.hadoop.hive.hbase.struct.HBaseStorageHandler' 既要协调使用hiv...
hive错误归纳（自用）
m0_64683638的博客
09-13 595
对于4000个字符，hive Metastore中SERDE_PARAMS表中PARAM_VALUE字段的字符限制是此问题的根本原因。此限制可防止Hive创建具有高列数的表，最终导致desc或select * from失败并出现上述错误。1、hive中创建带有主键的表要加DISABLE或enable作为约束条件。解决方法：通过在hive Metastore中执行以下操作可以解决此问题。hbase和hive中的＃列相同，抛出以下异常，
hive与hbase的整合时错误
u011563666的博客
06-06 2435
当利用hive来管理hbase时，出现如下错误： java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.IllegalArgumentException: Must specify table name at org.apache.hadoop.hive.ql.exec.F
创建hive和hbase整合表报错原因之一
langzi_hadoop的博客
04-17 1989
我的hive版本是apache-hive-1.2.1-bin.tar在hive里创建hive和hbase整合表的内部表报错信息如下：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily...
selenium.common.exceptions.WebDriverException: Message: ‘chromedriver‘解决
热门推荐
大数据梦想家
12-01 11万+
        今天在做selenium测试的时候,可能是很久没用了,直接报了这个异常!         相信很多第一次学习selenium的同学们也对这个异常不陌生了,但具体该如何解决这个bug呢?    ...
MetaException(message:org.apache.hadoop.hive.serde2.SerDeException Error: hbase.columns.mapping missing for this HBase table.)
最新发布
05-23
这个错误通常出现在使用 Hive 查询 HBase 表时，需要在创建外部表时指定 HBase 列映射信息，具体方法如下： 1. 在创建外部表时使用 STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES(...) 指定 HBase 存储处理程序和序列化属性。 2. 在表定义中指定 HBase 列映射，例如： CREATE EXTERNAL TABLE hbase_table(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf:value") TBLPROPERTIES("hbase.table.name" = "hbase_table"); 其中，hbase.columns.mapping 指定了 HBase 表中列的映射关系，格式为 “column_family:column”。如果不指定映射关系，就会出现你遇到的异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据梦想家

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值