Phoenix二级索引再探

最新推荐文章于 2022-08-18 23:28:56 发布
最新推荐文章于 2022-08-18 23:28:56 发布
阅读量153 收藏
点赞数
分类专栏： phoenix
原文链接：https://blog.csdn.net/u013850277/article/details/80978858
版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013850277/article/details/80978858
目前分两种情况测试： 
一种是该Hbase表已存在，通过该Hbase表映射一张对应的Phoenix表；
另一种是该Hbase表不存在，通过Phoenix创建对应的Hbase表。
Hbase表存在的情况：
1、通过hbase shell 创建Hbase表
hbase(main):009:0> create 't_hbase1','info'
0 row(s) in 1.5930 seconds

=> Hbase::Table - t_hbase1

hbase(main):010:0> desc 't_hbase1'
Table t_hbase1 is ENABLED
t_hbase1
COLUMN FAMILIES DESCRIPTION
{NAME => 'info', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALSE', DATA_BLOCK_ENCODING => 'NONE', TTL => 'FOREVER', COMPRESSION => 'NONE', MIN_VERS
IONS => '0', BLOCKCACHE => 'true', BLOCKSIZE => '65536', REPLICATION_SCOPE => '0'}
1 row(s) in 0.1380 seconds


2.这里同时建立hive外部表用来关联hbase1表
CREATE EXTERNAL TABLE t_hbase1(
key string, 
id string,
salary string,
start_date string,
end_date string)     
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'     
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:id,info:salary,info:start_date,info:end_date")     
TBLPROPERTIES("hbase.table.name" = "t_hbase1");       


测试发现：hive外部表关联hbase表并不受hbase表是否通过phoenix还是hbase api插入数据的影响

3.往t_hbase1中添加数据

      hbase(main):010:0> put 't_hbase1','1','info:id','1'
      hbase(main):010:0> put 't_hbase1','1','info:salary','1'
      hbase(main):011:0> put 't_hbase1','1','info:start_date','2017-09-18'
      hbase(main):012:0> put 't_hbase1','1','info:end_date','2017-09-18'

hbase(main):016:0> scan 't_hbase1'
ROW                          COLUMN+CELL
 1                           column=info:end_date, timestamp=1530671481354, value=2017-09-18
 1                           column=info:id, timestamp=1530671453795, value=1
 1                           column=info:salary, timestamp=1530671469153, value=1
 1                           column=info:start_date, timestamp=1530671475444, value=2017-09-18


4、创建phoenix表关联t_hbase1表 
进入phoenix shell
[root@hdp3 ~]# /usr/hdp/2.5.3.0-37/phoenix/bin/sqlline.py hdp1,hdp2,hdp3:2181
 create table "t_hbase1"(
"ROW" varchar primary key,
 "info"."start_date" varchar ,
  "info"."end_date" varchar ,
  "info"."id" varchar ,
  "info"."salary" varchar);

通过phoenix查询数据
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
+------+-------------+-------------+-----+---------+

查询数据量
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select count(*) from "t_hbase1";
+-----------+
| COUNT(1)  |
+-----------+
| 1         |
+-----------+


5、通过hbase shell添加数据到t_hbase1
      hbase(main):010:0> put 't_hbase1','2','info:id','2'
      hbase(main):010:0> put 't_hbase1','2','info:salary','2'
      hbase(main):011:0> put 't_hbase1','2','info:start_date','2017-09-18'
      hbase(main):012:0> put 't_hbase1','2','info:end_date','2017-09-18'


6、这时通过phoenix查询如下
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select count(*) from "t_hbase1";
+-----------+
| COUNT(1)  |
+-----------+
| 2         |
+-----------+
1 row selected (0.029 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
| 2    | 2017-09-18  | 2017-09-18  | 2   | 2       |
+------+-------------+-------------+-----+---------+
2 rows selected (0.034 seconds)


7、通过phoenix shell插入数据到t_hbase1表
   UPSERT INTO "t_hbase1" VALUES('3','2017-09-18','2017-09-18','3','3');
1
8、查询结果并分析
phoenix shell:
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
| 2    | 2017-09-18  | 2017-09-18  | 2   | 2       |
| 3    | 2017-09-18  | 2017-09-18  | 3   | 3       |
+------+-------------+-------------+-----+---------+
3 rows selected (0.057 seconds)

hbase shell:
hbase(main):022:0> scan 't_hbase1'
ROW                       COLUMN+CELL
 1                        column=info:_0, timestamp=1530671481354, value=
 1                        column=info:end_date, timestamp=1530671481354, value=2017-09-18
 1                        column=info:id, timestamp=1530671453795, value=1
 1                        column=info:salary, timestamp=1530671469153, value=1
 1                        column=info:start_date, timestamp=1530671475444, value=2017-09-18
 2                        column=info:end_date, timestamp=1530672268599, value=2017-09-18
 2                        column=info:id, timestamp=1530672247623, value=2
 2                        column=info:salary, timestamp=1530672253810, value=2
 2                        column=info:start_date, timestamp=1530672262302, value=2017-09-18
 3                        column=info:_0, timestamp=1530672889061, value=x
 3                        column=info:end_date, timestamp=1530672889061, value=2017-09-18
 3                        column=info:id, timestamp=1530672889061, value=3
 3                        column=info:salary, timestamp=1530672889061, value=3
 3                        column=info:start_date, timestamp=1530672889061, value=2017-09-18

hive shell:
hive> select * from t_hbase1;
OK
1       1       1       2017-09-18      2017-09-18
2       2       2       2017-09-18      2017-09-18
3       3       3       2017-09-18      2017-09-18
Time taken: 0.902 seconds, Fetched: 3 row(s)

通过phoenix删除指定数据
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> delete from "t_hbase1" where "id"='3';
1 row affected (0.052 seconds)
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
| 2    | 2017-09-18  | 2017-09-18  | 2   | 2       |
+------+-------------+-------------+-----+---------+
2 rows selected (0.057 seconds)


测试结果分析： 
通过上述结果表明：无论通过hbase还是phoenix操作数据，在没有二级索引的情况下hbase中的数据与phoenix的数据都是可以保持同步的。
创建phoenix对应表的二级索引
CREATE INDEX THBASE1_INDEX_ID ON "t_hbase1"("info"."id");

创建成功后，phoenix中会添加一张索引表（THBASE1_INDEX_ID ），
当然同时hbase中也会添加对应表（THBASE1_INDEX_ID ）
该索引表只存储Row与ID，即存储了hbase原rowkey与二级索引对应的字段，如下所示：
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from THBASE1_INDEX_ID ;
+----------+-------+
| info:id  | :ROW  |
+----------+-------+
| 1        | 1     |
| 2        | 2     |
+----------+-------+

因此笔者觉得如果是想通过二级索引快速查询到对应的数据，可先通过二级索引查询到其对应的rowkey,
再通过该rowkey查询实际数据，实测速度可提升几十陪至百陪，sql如下：
select * from "t_hbase1"  t1 
INNER JOIN  
(select "ROW" FROM "t_hbase1"  WHERE "id"='200002') t2
on t1."ROW" = t2."ROW";

或者
select * from "t_hbase1"  where "ROW" in 
(select "ROW" FROM "t_hbase1"  WHERE "id"='200002');
测试发现第二种方式会快一点。


1、同样进行上述操作
通过hbase shell添加数据到t_hbase1
      hbase(main):010:0> put 't_hbase1','3','info:id','3'
      hbase(main):010:0> put 't_hbase1','3','info:salary','3'
      hbase(main):011:0> put 't_hbase1','3','info:start_date','2017-09-18'
      hbase(main):012:0> put 't_hbase1','3','info:end_date','2017-09-18'

插入后查询结果如下所示：
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
| 2    | 2017-09-18  | 2017-09-18  | 2   | 2       |
| 3    | 2017-09-18  | 2017-09-18  | 3   | 3       |
+------+-------------+-------------+-----+---------+
3 rows selected (0.058 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select count(*) from "t_hbase1";
+-----------+
| COUNT(1)  |
+-----------+
| 2         |
+-----------+
1 row selected (0.083 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1" where "id"='3';
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 3    | 2017-09-18  | 2017-09-18  | 3   | 3       |
+------+-------------+-------------+-----+---------+
1 row selected (0.059 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from THBASE1_INDEX_ID;
+----------+-------+
| info:id  | :ROW  |
+----------+-------+
| 1        | 1     |
| 2        | 2     |
+----------+-------+
2 rows selected (0.034 seconds)


2.通过phoenix shell 插入数据
 UPSERT INTO "t_hbase1" VALUES('4','2017-09-18','2017-09-18','4','4');

插入后查询结果如下所示：
0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from THBASE1_INDEX_ID;
+----------+-------+
| info:id  | :ROW  |
+----------+-------+
| 1        | 1     |
| 2        | 2     |
| 4        | 4     |
+----------+-------+
3 rows selected (0.055 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select count(*) from "t_hbase1";
+-----------+
| COUNT(1)  |
+-----------+
| 3         |
+-----------+
1 row selected (0.027 seconds)

0: jdbc:phoenix:hdp04,hdp05,hdp06:2181> select * from "t_hbase1";
+------+-------------+-------------+-----+---------+
| ROW  | start_date  |  end_date   | id  | salary  |
+------+-------------+-------------+-----+---------+
| 1    | 2017-09-18  | 2017-09-18  | 1   | 1       |
| 2    | 2017-09-18  | 2017-09-18  | 2   | 2       |
| 3    | 2017-09-18  | 2017-09-18  | 3   | 3       |
| 4    | 2017-09-18  | 2017-09-18  | 4   | 4       |
+------+-------------+-------------+-----+---------+
4 rows selected (0.113 seconds)


批量导入确认是否会自动更新索引表
通过测试确认批量导入会自动更新phoenix二级索引（这个结果不受是否先有hbase表的影响），下面以直接创建phoenix表自动生成hbase表为例，具体测试如下
创建phoenix表

CREATE TABLE example (
    my_pk bigint not null,
    m.first_name varchar(50),
    m.last_name varchar(50) 
    CONSTRAINT pk PRIMARY KEY (my_pk));

创建二级索引

 create index example_first_name_index on example(m.first_name);

创建data.csv文件

12345,John,Doe
67890,Mary,Poppins

批量写入数据

[root@hdp18 Templates]# 
/usr/hdp/2.5.3.0-37/phoenix/bin/psql.py -t EXAMPLE hdp14:2181 /root/Templates/data.csv


验证索引表是否有进行同步更新

0: jdbc:phoenix:hdp14,hdp15> select * from example;
+--------+-------------+------------+
| MY_PK  | FIRST_NAME  | LAST_NAME  |
+--------+-------------+------------+
| 12345  | John        | Doe        |
| 67890  | Mary        | Poppins    |
+--------+-------------+------------+
2 rows selected (0.023 seconds)
0: jdbc:phoenix:hdp04,hdp05> select * from example_first_name_index;
+---------------+---------+
| M:FIRST_NAME  | :MY_PK  |
+---------------+---------+
| John          | 12345   |
| Mary          | 67890   |
+---------------+---------+
2 rows selected (0.018 seconds)

通过上述结果可知批量导入数据的情况是会自动更新索引表的。

Hbase表不存在的情况
Hbase表不存在的情况经过跟上述操作步骤一样的测试，结果与hbase表已存在的情况是一样的。

通过上述结果发现，当给t_hbase1表创建了二级索引后，如果通过hbase shell 进行插入数据时，该二级索引表数据是不会同步进行更新的。
当给t_hbase1表创建了二级索引后，如果通过phoenix shell 进行插入数据时，该二级索引表数据是会自动同步的，原理主要是通过协处理器进行更新。
总的来说如果需要维护phoenix表所创建的二级索引，源表数据的操作需要通过Phoenix客户端进行操作，当然如果不用维护对应的二级索引，数据的操作就无所谓通过什么方式进行了。
另外，Phoenix对应的表与其所对应的视图所拥有的功能与性质基本一致，只不过视图只提供查询功能，以及视图对于二级索引的支持跟表对于二有索引的支持也是基本一致的。
个人觉得这种机制有一个小缺点，就是我数据本来就是通过非phoenix客户端的方式写入的这时改动就会比较大了。
————————————————
版权声明：本文为CSDN博主「在屋顶听歌」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013850277/article/details/80978858

varyall
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Phoenix构建二级索引.rar
03-03
Phoenix安装部署与Hbase整合
Phoenix二级索引
CrazyPig的技术博客
12-19 7479
对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫描的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到rowkey中几乎不可能（业
Phoenix创建Hbase二级索引_尚硅谷大数据培训
zjjcchina的博客
07-20 316
写数据的时候会消耗大量开销，因为索引表也要更新，而索引表是分布在不同的数据节点上的，跨节点的数据传输带来了较大的性能消耗。1）注意网上配置文档里有这一条，但在实际测试中（测试环境hbase-1.3.1，网上0.98.6），加入该条的regionserver会在hbase启动时失败，对应节点上没有HregionServer进程，去掉该配置后正常启动，且能正常创建localindex。索引数据和数据表的数据是存放在相同的服务器中的，避免了在写操作的时候往不同服务器的索引表中写索引带来的额外开销。...
hbase 协处理器、二级索引、Phoenix
.
03-04 2283
摘要 原文：https://blog.csdn.net/alphags/article/details/53786777 本文主要内容是通过合理hbase 行键（rowkey)设计实现快速的多条件查询，所采用的方法将所有要用于查询中的列经过一些处理后存储在rowkey中，查询时通过rowkey进行查询，提高rowkey的利用率，加快查询速度。行键（rowkey)并不是简单的把所有要查询的列的值...
hbase二级索引
04-08
然而，由于其原生不支持复杂的查询模式，尤其是多条件查询，因此二级索引成为了提高HBase查询效率的重要手段。二级索引在HBase中的应用，是为了弥补其一级索引（RowKey索引）的不足，它为非RowKey字段提供了快速访问...
Phoenix全局索引
02-25
• 全局索引是Phoenix二级索引的一种 • 全局索引的本质是通过一张单独的HBase存储索引数据，用空间换时间加速查询 • 查询路径 • 如果查询的列都在索引表中, 只需要查询一次索引表 • 如果查询的列只有部分在...
基于phoenix的Hbase二级全文索引方法及系统.pdf
11-26
在该方法中，二级全文索引表是对Hbase原始数据表的二级索引，它可以快速地对Hbase数据进行全文检索。同时，该索引表还可以与Hbase原始数据表建立关联外键，从而实现了Hbase数据的实时更新和同步。 该方法提供了基于...
phoenix-core-4.8.1-HBase-1.2.jar
12-01
hbase上面二级索引组件 phoenix jar包 对应版本 hbase1.2 phoenix4.8
phoenix二级索引-重建索引后数据更新失败，问题原因分析
yangjh6666的专栏
05-02 903
因为前期phoenix索引设置有问题，需要更新一下索引。我们先删除，然后再新建索引。语句如下： drop index my_idx on my_table; create index my_idx on my_table(column1); 但是遇到一个问题，新建索引后，upsert更新语句一直报错， 索引更新失败。经排查，发现是新建的索引并没有生效。排查过程：查看索引有没有成功，最终...
phoenix的二级索引
epitomizelu的专栏
06-02 1521
一，什么是二级索引？ hbase会对rowkey进行索引，索引根据rowkey进行查询就会非常快，而且hbase只提供rowkey和rowkey范围查询，这是为什么hbase可以做实时的原因，他的实时局限性很大的。 如果要根据rowkey以外的字段进行查询，是没有办法走索引的，hbase不支持针对rowkey以外的字段建立索引，也即是说hbase不支持二级索引。 二级索引就是数据库默认创建的索引之外，根据表的具体情况创建的其他索引。 二级索引的原理通常是在写入时针对某个字段和rowkey进行绑定，查询时先根
hbase的sql组件之phoenix和phoenix的二级索引的使用
枣泥馅的博客
04-23 745
hbase的sql组件之phoenix hbase是一个列式nosql分布式存储引擎，在javaapi中对hbase的操作都是基于对象的形式，也可以写mapreduce程序读取hbase上的数据和把数据写入数据， phoenix组件给hbase添加了一个功能就是用sql来操作，这个组件可以在hbase上执行ddl和dml语句。 最重要的是支持二级索引，因为在hbase中只支持rowkey索引不支持...
phoenix索引自动更新
weixin_42814075的博客
07-11 1152
简介 本篇文章主要测试和记录phoenix二级索引机制 关联视图 关联视图下构建二级索引 数据变更方式 索引表变化 phoenix端只读 不变 hbase端插入数据 不变 结论，构建关联视图的二级索引，索引表不会随hbase表的变化自动更新 关联表 关联表下构建二级索引 数据变更方式 索引表变化 phoenix端插入数据 自动更新 hbase端插入数据 ...
Cloudera Labs中的Phoenix
weixin_34293141的博客
01-15 223
2019独角兽企业重金招聘Python工程师标准>>> ...
hbase表映射Phoenix视图, 基于视图的二级索引是否实时更新
稼轩
08-21 2430
1. hbase shell 创建表 create 'MY_TABLE', 'CF1','CF2' 添加数据 put 'MY_TABLE','1' ,'CF1:V1', 'uwo1' put 'MY_TABLE','1' ,'CF2:V2', '1' put 'MY_TABLE','1' ,'CF1:V3', '10' put 'MY_TABLE','2' ,'CF1:V1', 'uwo...
phoenix_二级索引
子龙修仙的博客
05-23 3816
索引最常用的三个类型：覆盖索引、全局索引、本地索引。1) 覆盖索引Covered Index如果创建的是覆盖索引，那么查询语句中的条件字段、返回字段都必须创建过索引，否则就会触发full table scan。如：create index coverindex user_index on user (name) include (cellphone);因此它的特点是：只需要通过索引就能返回所要查询...
Phoenix的二级索引
bababuzaijia的博客
08-18 650
Phoenix二级索引，二级索引，全局索引，本地索引，覆盖索引，函数索引，不可变索引，可变索引，索引，
hbase二级索引es和phoenix
最新发布
06-06
ES和Phoenix都可以作为HBase的二级索引，但它们的实现方式和使用场景略有不同。 ES（Elasticsearch）是一种基于Lucene的搜索引擎，可以快速地索引和搜索大量的数据。在HBase中使用ES作为二级索引，可以将HBase中的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值