《大数据： Phoenix 创建HBase 二级索引》

最新推荐文章于 2023-03-12 21:51:06 发布
最新推荐文章于 2023-03-12 21:51:06 发布
阅读量302 收藏
点赞数
分类专栏： 【 大数据：上篇 】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yexiangCSDN/article/details/110548103
版权
【 大数据：上篇 】 专栏收录该内容
107 篇文章 35 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了如何使用Phoenix为HBase创建二级索引，以提高数据查询效率。内容包括二级索引的背景、创建步骤、Phoenix索引分类（全局索引和局部索引）及其特点，并给出了具体的配置和操作示例。
摘要由CSDN通过智能技术生成

一、Phoenix 创建HBase 二级索引

  • 在前面的学习中, 我们知道 HBase 只能通过 rowkey 进行搜索, 一般把 rowkey 称作一级索引. 在很长的一段时间里 HBase 就只支持一级索引
  • HBase 里面只有 rowkey 作为一级索引， 如果要对库里的非 rowkey 字段进行数据检索和查询， 往往要通过 MapReduce/Spark 等分布式计算框架进行，硬件资源消耗和时间延迟都会比较高
  • 为了 HBase 的数据查询更高效、适应更多的场景， 诸如使用非 rowkey 字段检索也能做到秒级响应，或者支持各个字段进行模糊查询和多字段组合查询等， 因此需要在 HBase 上面构建二级索引， 以满足现实中更复杂多样的业务需求，之前如果要创建二级索引，需要自己调用HBase的API，写起来很麻烦
  • 从 0.94 版本开始, HBase 开始支持二级索引
了解本专栏 订阅专栏 解锁全文
HarkerYX
关注
专栏目录
订阅专栏
大数据HBase（十二）：Apache Phoenix 二级索引
Lansonli（蓝深李）的博客
07-18 2969
全网最详细的大数据HBase文章系列，强烈建议收藏加关注！ 新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。 目录 系列历史文章 前言 Apache Phoenix 二级索引 一、索引分类 二、索引分类_全局索引 三、索引分类_本地索引 四、索引分类_覆盖索引 五、索引分类_函数索引 六、索引案例一: 创建全局索引+覆盖索引 1、需求 2、创建索引 3、查询数据 4、查询执行计划 5、删除索引 6、查看索引 7、测试查询所有列是否会使用索引 8、使用Hin.
《大数据： Phoenix 介绍与安装》
yexiangCSDN的专栏
12-02 450
一、Phoenix 简介 一、Phoenix 安装
基于Phoenix对HBase建索引
weixin_30879169的博客
07-17 230
参考： Phoenix与HBase集成进行数据分析 HBase查询速度慢原因排查 操作1，执行查询，如下： 0: jdbc:phoenix:node3:2181:/hbase> SELECT * FROM ASSET_RECORD WHERE ASSET_ID='设345-1149640126759047168'; +---------------------------...
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
阿丸笔记
05-18 549
Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs对HBase数据进行增删改查，构建二级索引。当然，开源产品嘛，自然需要注意“避坑”啦，阿丸会把使用方式和最佳实践都告诉你。 1.什么是Phoenix Phoenix完全使用Java编写，将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。Phoenix主要能做以下这些事情： 将SQL查询编译为HBase扫描scan 确定scan的开始和停止位置 将scan并行执行 将where子句中的谓词推
Phoenix系列：二级索引
zsj777的专栏
08-22 340
Phoenix使用HBase作为后端存储，对于HBase来说，我们通常使用字典序的RowKey来快速访问数据，除此之外，也可以使用自定义的Filter来搜索数据，但是它是基于全表扫描的。而Phoenix提供的二级索引是可以避开全表扫描，是在HBase中快速查找或批量检索数据的另一个选择。下面的例子使用如下表进行测试： CREATE TABLE HAO1 ( id char(36) not n...
mysql 索引
追求卓越
04-23 437
本文参考了文“mysql索引背后的数据结构及算法原理”，之所以还要摘录，主要是为了形成hbase索引研究的开篇，弄明白什么索引的本质，如有版权问题，请及时通知。 索引的本质 索引是帮助mysql高效获取数据的数据结构。索引属于数据结构的一种。 在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算
hbase安装包_HBase 集成 Phoenix 构建二级索引实践
weixin_39761558的博客
12-01 90
Phoenix 在 HBase 生态系统中占据了非常重要的地位，本文主要包括以下几方面内容：Phoenix 介绍CDH HBase 集成 Phoenix使用 Phoenix 创建 HBase 二级索引Phoenix 索引类型介绍Phoenix 介绍Phoenix 是构建在 HBase 之上的高效的 SQL 引擎，同时具备 OLTP 和 OLAP 能力，作为 HBase 生态系统中非常重要的组件，重...
Phoenix构建HBase二级索引案例实战
weixin_43230682的博客
08-28 660
目录 一、为什么要使用二级索引？ 二、全局索引和本地索引 三、可变索引和不可变索引 四、配置HBase支持Phoenix二级索引 五、实战 5.1 在phoenix中创建表 5.2 导入测试数据 5.3 Global Indexing的二级索引测试 5.4 Local Indexing的二级索引测试 5.5 如何确保query查询使用Index 5.6 索引重建 5.7 删除索引 六、索引性能调优 一、为什么要使用二级索引？ 对于HBase而言，如果想精确地定位到某行记录，唯一
大数据之Phoenix视图操作和二级索引
最新发布
weixin_43339889的博客
03-12 642
Phoenix视图操作和基于Phoenix的二级索引
Hbase二级索引，索引海量数据实现方案
join_null的博客
03-29 2941
方案1:使用开源的hbase-indexer，是借助于hbase的WAL实现，不会影响hbase性能            https://blog.csdn.net/xiahoujie_90/article/details/53400044方案2：基于ES自己实现，利用habse的协处理器实现，会影响hbase性能关键注意点：因为数据是存在Hbase中，ES充当的是索引角色，所以在创建ES的ma...
Phoenix（4）：phoenix中创建hbase的映射表
小蚯蚓的博客
12-02 1107
一、实现功能 phoenix映射hbase中表，从而实现快速复杂查询与编辑。 二、步骤 1.hbase中要有对应的表，以及数据 create 'teacher','info','contact' put 'teacher','1001','info:name','Jack' put 'teacher','1001','info:age','28' put 'teacher','1001...
HBase API+优化+Phenix+索引 笔记
VanasWang的博客
06-28 439
文章目录APIDDLDMLHBase优化预分区1.手动设定预分区2.指明分区个数3.按照文件中设置的规则预分区4.使用javaApi创建预分区rowKey的设计小案例：内存优化基础优化HBase底层原理HBase与Hive集成使用Phoenix安装配置配置环境变量启动Shell操作删除表映射：视图映射创建视图删除视图表映射Phoenix数字问题idea可视化Phoenix JDBC操作Thin 瘦客户端Thick胖客户端索引参数配置全局二级索引本地二级索引 API 创建表 、删除表、表是否存在、 添加依赖
利用Phoenix为HBase创建二级索引
热门推荐
肖韬的BLOG
05-17 2万+
为什么需要Secondary Index对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫瞄的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。
Phoenix创建视图和索引--基于HBase
GulfMoon
08-15 4412
一、HBase shell命令 1. 进入hbase shell # Step1：进入hbase的安装路径的bin目录 cd /home/gulfmoon/apps/hbase-1.2.4/bin # Step2：启动hbase shell hbase shell 启动成功后显示的信息： 2. 查看hbase中所有的表 !list 3. help大法   二、Ph...
HBase中创建索引
开心一刻的专栏
11-25 4476
hbasene(https://github.com/akkumar/hbasene)是开源项目，在hbase存储上封装使用Lucene来创建索引，代码API非常简单，熟悉lucene的朋友可以很方便地创建。     以下为测试代码，完成读取一张hbase上记录url和用户id的表，对其创建索引并进行简单的基于url的索引的代码。当取到search的结果后，就可以拿到想要的数据了。由于分词后
hbase建索引java api_hbase创建索引
weixin_42513988的博客
02-27 402
1.代码package Test05;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop...
Hbase 二级索引
fwk19840301的博客
07-02 1060
Hbase 使用二级索引原因： 目前 HBase 主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上，HBase 的表数据按RowKey 进行字典排序， RowKey 实际上是数据表的一级索引（Primary Index），由于HBase 本身没有二级索引（Secondary Index）机制，基于索引检索...
hbase的sql组件之phoenix和phoenix的二级索引的使用
枣泥馅的博客
04-23 770
hbase的sql组件之phoenix hbase是一个列式nosql分布式存储引擎，在javaapi中对hbase的操作都是基于对象的形式，也可以写mapreduce程序读取hbase上的数据和把数据写入数据， phoenix组件给hbase添加了一个功能就是用sql来操作，这个组件可以在hbase上执行ddl和dml语句。 最重要的是支持二级索引，因为在hbase中只支持rowkey索引不支持...
HBase查询引擎——Phoenix的使用
kuyuyingzi的专栏
09-05 410
介绍：Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单查询来说，其性能量级是毫秒，对于百万级别的行数来说，其性能量级是秒。更多参考官网：http://phoenix.apache.org/ 命令行：Sqlline安装： 1、将phoenix-3.0.0-incubati...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值