HBase构建二级索引失败

最新推荐文章于 2021-11-17 21:00:00 发布
最新推荐文章于 2021-11-17 21:00:00 发布
阅读量396 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OliverChrist/article/details/79045299
版权

HBase表大小：1.2T

region数量：1196

列族数量：1

用户表字段数量：24

脚本：hbase xxxxxxx.xxxxx.xxxx 聚簇表  用户表  二级索引字段名  跳过空行配置  hdfs输出目录

MapReduce job，每个region起了一个map job，共1196个；一共起了2个reduce job。

MapReduce job全局成功。明细：成功1196个map job，killed 34个，failed 1个。

失败的map报错：OutOfOrderScannerNextException

失败的region大小3.1G，许多8-9G的region对应的map job都成功了。

查看重构数据目录：仅有一个_success标志，无数据

查看Counter：

Input split bytes:194667

Map input records：1587678789

Map output records:0

Map output materialized bytes:14352


原因未知。

fourierLouis
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
hbase创建二级索引
01-22
public class IndexBuilder3 extends Configured{ public static class MapperIndex extends TableMapper<ImmutableBytesWritable,Put>{ private String tableName; private String columnFamily; private String[] qualifiers; //列为key，索引表表名为value private Map<byte[],ImmutableBytesWritable> indexs = new HashMap<byte[],ImmutableBytesWritable>(); @SuppressWarnings("deprecation") @Override protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException { //获取所有需要建索引的列 Set<byte[]> keys = indexs.keySet(); for (byte[] k:keys){ // 该列对应的索引表名字
phoenix 异步建立二级索引失败，hbase表名需大写
松林羊的博客
01-25 932
https://www.cnblogs.com/henyu/p/9179653.html
关于hbase二级索引
i am me，haha，么么哒。。。
08-21 647
http://blog.sina.com.cn/s/blog_4a1f59bf01018apd.html http://blog.163.com/ma_youzhong/blog/static/424591542011899275677/ 高级数据库索引
eclipse全局搜索关键字_日志分析场景下的搜索引擎改进
weixin_39942400的博客
11-30 226
作者：黎吾平 ，日志易技术副总裁。Elasticsearch 是近两年流行的日志分析存储引擎，随着业务的发展，越来越多的 IT 运维日志也催生出越来越大的 Elasticsearch 集群，越来越高的的维护成本和越来越难的复杂分析需求。本文讲述了日志易在追求极致性能、提供精准结果、压缩运行成本等方面，对 Elasticsearch 提出的改进方案和最终效果，以及过程中的抉择与思考。1、日...
HBase建立二级索引的一些解决方式
破晓的成长之路
12-24 366
HBase的一级索引就是rowkey，我们仅仅能通过rowkey进行检索。 假设我们相对hbase里面列族的列列进行一些组合查询。就须要採用HBase的二级索引方案来进行多条件的查询。 常见的二级索引方案有下面几种： 1.MapReduce方案 2.ITHBASE方案 3.IHBASE方案 4.Coprocessor方案 5.Solr+hbase方案 MapReduce方案 IndexBui...
hbase二级索引
04-08
然而，由于其原生不支持复杂的查询模式，尤其是多条件查询，因此二级索引成为了提高HBase查询效率的重要手段。二级索引在HBase中的应用，是为了弥补其一级索引（RowKey索引）的不足，它为非RowKey字段提供了快速访问...
基于CDH的Solr+Hbase+KV构建二级索引
01-07
3.构建二级索引 3.1创建测试表 3.1.1创建测试表（phoenix） drop table “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS”; CREATE TABLE “ZJS_ORDER”.”ALADIN_WAYBILLSTATUS” (  ydh varchar NOT NULL PRIMARY KEY,  ...
hbase+Coprocesser+solr实现二级索引
09-06
为了解决这个问题，我们可以结合HBase的Coprocessor机制和Solr来构建二级索引，实现更高效的查询性能。 首先，我们来理解一下“二级索引”。在HBase中，一级索引是基于行键（Row Key）的，它是默认的、快速的访问...
hbaseSecondaryIndex:hbase二级索引实现
05-17
hbaseSecondaryIndex是一个hbase二级索引的实现，基于solr+hbase coprocessor框架为hbase提供索引表支持。 此工程可打包为一个hbase的插件，通用方便。 这篇文档的目的是为了向您介绍hbaseSecondaryIndex的基本使用...
Phoenix构建二级索引.rar
03-03
《Phoenix构建二级索引——深度解析与实践指南》 在大数据处理领域，Phoenix以其高效、易用的特性，成为与Apache HBase结合的SQL查询引擎的首选。本指南将深入探讨如何在已有的Hbase环境中安装部署Phoenix，并利用...
「从零单排HBase 11」HBase二级索引解决方案
august5291的博客
11-03 126
HBase一个令人惋惜的地方，就是不支持二级索引。因此，社区有了很多补充方案来填补HBase的二级索引能力的缺陷。 今天，我们就来看看有哪些二级索引方案，通过对比各个方案的优缺点，并结合我们的具体场景做出二级索引方案选型。 1.为什么需要二级索引 HBase系统单纯从解决大数据实时读写问题角度出发，重点关注于分布式存储的扩展性、容错性、读写性能等方面，为此也牺牲了很多传统关系型数据库的功能，比如事务，SQL表达与分析等。 实际上，这是NoSQL最初的含义，以解决大数据的实时存取为首要目标，提供简单的
HBase建立二级索引的一些解决方案
吃果冻不吐果冻皮
07-07 1万+
HBase的一级索引就是rowkey，我们只能通过rowkey进行检索。如果我们相对hbase里面列族的列列进行一些组合查询，就需要采用HBase的二级索引方案来进行多条件的查询。 常见的二级索引方案有以下几种： 1.MapReduce方案 2.ITHBASE方案 3.IHBASE方案 4.Coprocessor方案 5.Solr+hbase方案MapReduce方案IndexBuild
360HBase二级索引方案学习总结
dhtx_wzgl的博客
10-12 5728
在今年的北京QCon大会上，360公司的系统部技术经理赵健博在演讲中公布了360公司的HBase二级索引方案，这一方案的提出将比华为HBase二级索引更好的解决了Hbase的多维实时查询问题。它的核心思想是保证了索引和数据在同一region上，减少了IO通信，提升了HBase的读性能，并且无非修改HBase源码，实现更加简单。 360HBase二级索引公布的演讲视频：http://www.inf
HBase二级索引实现方案
weixin_33905756的博客
08-07 276
　　关于使用hbase进行多维度条件实时查询的方案调研。　　1.MapReduce方案　　优点：并发批量构建Index　　缺点：不能实时构建Index　　2.ITHBASE方案　　缺点：需要重构hbase，几年没有更新。　　3.IHBASE方案　　缺点：需要重构hbase。　　4.Coprocessor方案　　华为的HBase二级索引采用此方案(hindex代码开源)。　　1)、索引和数据分别放在...
Trafodion Troubleshooting-NotServingRegionException region is not online
数据源的港湾
06-27 1056
现象Trafodion有时候在做SQL查询时会报NotServingRegionException错误，如下SQLException: *** ERROR[8448] Unable to access Hbase interface. Call to ExpHbaseInterface::insertRows returned error HBASE_ACCESS_ERROR(-706). Cau
HBase 实战中遇到的坑
刘莹慧的专栏
01-20 1万+
问题一 ： HTable.backgroundFlushCommits; HTable.flushCommits; HTable.close; 解决方案 ,对同一个表进行的操作 htable = new HTable(config, "CRM_MEMBER_ALL");中的config 要每次都new一个新的出来，不能用同一个，不然会报错! 问题二 :
主索引和二级索引区别，并创建一个二级索引
热门推荐
少年休闲海
08-19 2万+
透明表索引有两种：分别是主索引和二级索引。 主索引是在我们创建表激活后由系统自动创建的，这个我们不能修改；二级索引可以我们自己创建。 主索引是表的主键，二级索引可以根据你自己需要用到表的任何字段的组合来创建。 在使用二级索引时，WHERE条件字段和字段顺序要与二级索引字段和字段顺序粗略一致，这样才能提高检索效率 索引的第一个字段都是MANDT，后面的根据需求
使用hbase时常见问题解决方法
sun7_9的博客
11-17 6029
看到这篇文章的你，一定已经安好HBase了，但是在启动hbase时，是不是有各种各样问题呢，那么快看看下面这篇文章有没有帮到你。 文章目录一、无法进入hbase shell命令或会报错，或无法连接zookeeper二、 在启动hbase时，介包冲突发生 一、无法进入hbase shell命令或会报错，或无法连接zookeeper 在/hbase/bin目录下无法进入hbase shell命令或会报错，或者会显示无法连接到zookeeper 原因：查看启动hbase后的jps，发现可运行的节点数目不对且.
Hadoop 5 Hbase 遇到的问题
weixin_30636089的博客
03-20 98
hbase伪分布式配置完成后： 在bin/hbase shell 进行create操作时出现：Can't get master address from ZooKeeper; znode data == null 原因：一开始我时设置的hbase自动部署zookeeper，但是在重新将hdfs格式化后没有将第一次启动hbase自动生成的zookeeper删除掉，出现了日志不对应的问题。 解决...
2-6+HBase+Coprocessor.pdf
03-18
Coprocessor的设计灵感源自Google的Bigtable协处理器，旨在解决HBase在构建二级索引、执行复杂查询以及性能优化方面的局限性。 Coprocessor的核心功能分为两类： 1. **RegionObserver**：这是一个接口，用于实现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值