Hbase - error1- FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

最新推荐文章于 2024-04-26 17:46:45 发布
最新推荐文章于 2024-04-26 17:46:45 发布
阅读量548 收藏
点赞数 1
分类专栏： Hbase 文章标签： hive 大数据 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li1351026473/article/details/116482234
版权

 在hive与hbase整合中，将数据导入hibase中，发现错误如下：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: MetaException(message:org.apache.hadoop.hive.serde2.SerDeException org.apache.hadoop.hive.hbase.HBaseSerDe: columns has 3 elements while hbase.columns.mapping has 4 elements (counting the key if implicit))

经过仔细检查发现：hive中字段个数与hbase列簇中的字段个数不一样

改正后：

 

99滴神
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hbase中文文档
08-25
目录 序 1. 入门 1.1. 介绍 1.2. 快速开始 2. 配置 2.1. Java 2.2. 操作系统 2.3. Hadoop 2.4. HBase运行模式:单机和分布式 2.5. ZooKeeper 2.6. 配置文件 2.7. 配置示例 2.8. 重要配置 2.9. Bloom Filter 3. 升级 3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells 5.7. Data Model Operations 5.8. 版本 5.9. 排序 5.10. 列元数据 5.11. Joins 6. HBase 和 Schema 设计 6.1. Schema 创建 6.2. column families的数量 6.3. Rowkey 设计 6.4. Number 数量 6.5. 支持的数据类型 6.6. Joins 6.7. 生存时间 (TTL) 6.8. Keeping Deleted Cells 12-5-30 HBase 官方文档 2/81 abloz.com/hbase/book.htm 6.9. Secondary Indexes and Alternate Query Paths 6.10. Schema Design Smackdown 6.11. Operational and Performance Configuration Options 6.12. 限制 7. HBase 和 MapReduce 7.1. Map-Task Spitting 7.2. HBase MapReduce Examples 7.3. Accessing Other HBase Tables in a MapReduce Job 7.4. Speculative Execution 8. HBase安全 8.1. 安全客户端访问 HBase 8.2. 访问控制 9. 架构 9.1. 概述 9.2. Catalog Tables 9.3. 客户端 9.4. Client Request Filters 9.5. Master 9.6. RegionServer 9.7. Regions 9.8. Bulk Loading 9.9. HDFS 10. 外部 APIs 10.1. 非Java语言和 JVM交互 10.2. REST 10.3. Thrift 11. 性能调优 11.1. 操作系统 11.2. 网络 11.3. Java 11.4. HBase 配置 11.5. ZooKeeper 11.6. Schema 设计 11.7. 写到 HBase 11.8. 从 HBase读取 11.9. 从 HBase删除 11.10. HDFS 11.11. Amazon EC2 11.12. 案例 12. 故障排除和调试 HBase 12.1. 通用指引 12.2. Logs 12.3. 资源 12.4. 工具 12.5. 客户端 12.6. MapReduce 12.7. NameNode 12.8. 网络 12.9. RegionServer 12.10. Master 12.11. ZooKeeper 12.12. Amazon EC2 12.13. HBase 和 Hadoop 版本相关 12.14. 案例 13. 案例研究 13.1. 概要 13.2. Schema 设计 13.3. 性能/故障排除 14. HBase Operational Management 14.1. HBase Tools and Utilities 14.2. Region Management 14.3. Node Management 14.4. HBase Metrics 14.5. HBase Monitoring 14.6. Cluster Replication 14.7. HBase Backup 14.8. Capacity Planning 15. 创建和开发 HBase 15.1. HBase 仓库 15.2. IDEs 15.3. 创建 HBase 12-5-30 HBase 官方文档 3/81 abloz.com/hbase/book.htm 15.4. Publishing a new version of hbase.apache.org 15.5. 测试 15.6. Maven Build Commands 15.7. Getting Involved 15.8. 开发 15.9. 提交补丁 A. FAQ B. hbck In Depth B.1. Running hbck to identify inconsistencies B.2. Inconsistencies B.3. Localized repairs B.4. Region Overlap Repairs C. Compression In HBase C.1. CompressionTest Tool C.2. hbase.regionserver.codecs C.3. LZO C.4. GZIP C.5. SNAPPY C.6. Changing Compression Schemes D. YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E.1. Motivation E.2. HFile format version 1 overview E.3. HBase file format with inline blocks (version 2) F. Other Information About HBase F.1. HBase Videos F.2. HBase Presentations (Slides) F.3. HBase Papers F.4. HBase Sites F.5. HBase Books F.6. Hadoop Books G. HBase History H. HBase and the Apache Software Foundation H.1. ASF Development Process H.2. ASF Board Reporting Index 表列表 5.1. Table webtable 5.2. ColumnFamily anchor 5.3. ColumnFamily contents 8.1. Operation To Permission Mapping
hive报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
m0_65097405的博客
07-12 3581
For more details see: http://wiki.apache.org/hadoop/ConnectionRefused)原因： 之前学习hive的时候创建的数据库lyw，那时已经在hdfs中创建了相对应的文件夹，后来把这些文件夹删除了，导致lyw数据库在hdfs中找不到其对应的文件夹lyw，无法创建lyw的子文件夹，因此无法在数据库lyw下创建表。解决方法：重新建一个数据库，然后把数据加载到新数据库。
Hive中运行任务报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
99滴神
05-06 3535
错误如下： java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.java:126) at org.apache.hadoop.fs.Path.<init>(Path.java:134) at org.apache.hadoop.mapreduce...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. java.lang.Runtim
Oz_Mood的博客
03-19 808
这是异常的详细信息，指出在HBaseSerDe（序列化/反序列化）过程中，Hive期望的列数（12个）与HBase映射文件中定义的列数（13个）不一致。具体来说，错误是由于在Hive与HBase集成时，列的数量不匹配导致的。：如果你使用了映射文件来定义Hive和HBase之间的列映射，确保映射文件中的列数与实际的HBase表列数相匹配。：同样，检查HBase表的定义，确保列的数量和Hive表中定义的列相匹配。：查看Hive表的定义，确保你定义的列数与HBase表中的列数相匹配。
hive-hbase-handler-1.2.1.jar
09-04
被编译的hive-hbase-handler-1.2.1.jar，用于在Hive中创建关联HBase表的jar，解决创建Hive关联HBase时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V 错误的问题
Day14[20200726]
ivhs的博客
08-01 211
一、回顾 1.数据倾斜 数据倾斜/数据热点 数据倾斜产生的原因 数据倾斜大部分情况下是不可避免的。 数据倾斜解决方案 2.自定义函数 Hive不是MySQL Hive的底层是Java MySQL中的count()是MySQL提供的功能 ， MySQL底层是C Hive中的count()其实就是Java中的一个方法！ 我们就自己写一个简单的方法 ， 导入Hive中完成一个简单的需求。 统计字符串长度 select word,charcount(word) from wc; hadoop 6 ja
Hive表字段类型转换错误解决：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
热门推荐
qq_28658621的博客
04-05 1万+
Hive表字段类型转换错误解决——FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The following columns have types incompatible with the existing columns in their respective positions :
Hive 新建分区异常处理：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
weixin_42151880的博客
06-11 5036
今天在测试 hive 相关语句时，发生了一个非常奇妙的错误，就是在我创建分区时，突然出现了一个异常：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. 这让我有些猝不及防，毕竟以前没遇到过，于是我便在网上寻求解决方法，同是天涯沦落人。 **方法一：**降低Mysql-connect jar包的版本，将它降低到5.1.27，而我正好用的是5.1.38；虽然搞不懂他说的原理，毕竟他成功了，试试，好
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
weixin_52918377的博客
11-23 4749
分区修复失败的问题 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 一、问题 在把CDH集群上的数据迁移到apache集群上时，遇到错误，记录一下。 1.脚本执行的时候报错 INFO : Compiling command(queryId=hadoop_20211123141935_050bb456-601d-4f8d-bb3c-0b274461b4f8): msck repair tab
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask错误的解决办法（图文详解）
ReyzeLamp的博客
11-23 6625
hbase迁移数据到hive中 hive创建表关联hbase表时报错 CREATE EXTERNAL TABLE test01 (key string, name string, age string, sex string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIE...
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
qianchun22的博客
12-09 1万+
在MySQL创建完数据库hive后，在hive命令行中执行分区表加载数据是出现以下报错信息： 原因：编码的问题，因为hive默认的是iso8859（latin1） 解决方法： 1、进入到MySQL中，删除之前所创建的hive库 show databases; drop database hive; 2、再新建hive库，并手动指定编码格式为latin1 create database hive use hive #修改hive库的编码格式：alter database hive character se
hbase-0.98.12.1-hadoop1-bin.tar.gz
12-04
hbase-0.98.12.1-hadoop1-bin.tar.gz编译后安装包，下载解压可直接使用。
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
07-14
hbase的hbase-1.2.0-cdh5.14.2.tar.gz资源包
hbase-2.0.2.3.1.4.0-315-bin.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
apache-phoenix-4.8.1-HBase-1.2-bin.tar.gz
08-16
apache-phoenix-4.8.1-HBase-1.2-bin.tar.gz 。。。。。
大数据第五天(操作hive的方式)
weixin_51885039的博客
04-23 359
操作hive的方式
springboot+mybatis+hive启动失败
weixin_45336151的博客
04-23 216
失败原因见最后几行，说明[jetty-runner-9.3.20.v20170531.jar:2.3.2]版本冲突，删除即可。
hive启动beeline报错
最新发布
m0_75028327的博客
04-26 151
出现上面的问题执行以下代码。
【Hadoop】-Hive部署[12]
weixin_63106307的博客
04-23 1114
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
org.apache.hadoop.hive.hbase.hbasestoragehandler
10-14
org.apache.hadoop.hive.hbase.hbasestoragehandler是一个用于Apache Hive和HBase之间的存储处理器。它允许用户将Hive与HBase集成，从而可以在Hive上查询和操作存储在HBase中的数据。 HBase是一个开源的非关系型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值