phoenix 查询优化 40秒变为0.02秒

最新推荐文章于 2023-04-26 14:07:51 发布
最新推荐文章于 2023-04-26 14:07:51 发布
阅读量1w 收藏 31
点赞数 5
分类专栏： Phoenix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cky079/article/details/84442894
版权

 

phoenix 5.0

 

数据量不多，就是100万，测试一般是够用的。

0: jdbc:phoenix:192.168.199.154> select count(1) from T_EXTENSION_ALL_DATAS_SHOW;
+-----------+
| COUNT(1)  |
+-----------+
| 999999    |
+-----------+
1 row selected (8.714 seconds)

 

其中rowkey，主键是：CONSTRAINT PK PRIMARY KEY (SHOW_DATE, SEQ_ID, EMAIL)

0: jdbc:phoenix:192.168.199.154> select * from T_EXTENSION_ALL_DATAS_SHOW limit 2;
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
|  SHOW_DATE  | SEQ_ID  |   EMAIL    | TIME_SPEND  | CAM_SITE  | TOKEN_EARNED  | REVENUE  | TIPS_SENT  |  TOY  |     CREATED_DATE     |
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
| 2018-11-24  | 1       | wjc@1.com  | 65          | cam4      | 20.5          | 200.5    | 21         | ambi  | 2018-11-24 15:22:40  |
| 2018-11-24  | 2       | wjc@2.com  | 65          | cam4      | 20.5          | 200.5    | 21         | ambi  | 2018-11-24 15:22:40  |
+-------------+---------+------------+-------------+-----------+---------------+----------+------------+-------+----------------------+
2 rows selected (0.273 seconds)

 

-- 查询条件只有日期，查询最大ID 。可以看到速度还是很快的。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 999999  |
+---------+
1 row selected (0.032 seconds)


0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' order by seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK 1 ROWS 715 BYTES SERIAL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 715             | 1              | 0            |
|     SERVER FILTER BY FIRST KEY ONLY                                                                             | 715             | 1              | 0            |
|     SERVER 1 ROW LIMIT                                                                                          | 715             | 1              | 0            |
| CLIENT 1 ROW LIMIT                                                                                              | 715             | 1              | 0            |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.064 seconds)

-- 查询条件，增加email。直接超时，报错。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com' order by seq_id desc limit 1;
Error: org.apache.phoenix.exception.PhoenixIOException: Failed after attempts=16, exceptions:
Sat Nov 24 15:43:47 CST 2018, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=60121

 

-- 为email增加全局二级索引，然后查询。走二级索引，速度就是快。0.059秒

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ON T_EXTENSION_ALL_DATAS_SHOW(EMAIL);
999,999 rows affected (56.13 seconds)
0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.059 seconds)
0: jdbc:phoenix:192.168.199.154>

 

-- 换成网站的查询条件，需要57秒！

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (57.825 seconds)

0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                             PLAN                                                             | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 2-CHUNK 639317 ROWS 314572822 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 314572822       | 639317         | 1543044967313  |
|     SERVER FILTER BY CAM_SITE = 'cam4'                                                                                       | 314572822       | 639317         | 1543044967313  |
|     SERVER 1 ROW LIMIT                                                                                                       | 314572822       | 639317         | 1543044967313  |
| CLIENT 1 ROW LIMIT                                                                                                           | 314572822       | 639317         | 1543044967313  |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.069 seconds)

 

-- 老样子，为网站字段建立。二级索引，从57秒 变为 0.024秒！

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE ON T_EXTENSION_ALL_DATAS_SHOW(CAM_SITE);
999,999 rows affected (59.081 seconds)

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (0.024 seconds)

 

-- 这次，我们在网站的基础上，增加一个玩具条件，会增么样呢？

-- 可以看到日期走了 RANGE SCAN，而网站和玩具都是FILTER，所以特别慢。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (56.94 seconds)

0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                             PLAN                                                             | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 2-CHUNK 639317 ROWS 314572822 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER T_EXTENSION_ALL_DATAS_SHOW ['2018-11-24']  | 314572822       | 639317         | 1543044967313  |
|     SERVER FILTER BY (CAM_SITE = 'cam4' AND TOY = 'ambi')                                                                    | 314572822       | 639317         | 1543044967313  |
|     SERVER 1 ROW LIMIT                                                                                                       | 314572822       | 639317         | 1543044967313  |
| CLIENT 1 ROW LIMIT                                                                                                           | 314572822       | 639317         | 1543044967313  |
+------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.029 seconds)
0: jdbc:phoenix:192.168.199.154>

 

-- 这时候我们需要 建立组合二级索引，才能满足查询需求。速度又提升到了0.039秒。哈哈

0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE_TOY ON T_EXTENSION_ALL_DATAS_SHOW(CAM_SITE,TOY);
999,999 rows affected (56.776 seconds)

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 499999  |
+---------+
1 row selected (0.039 seconds)


0: jdbc:phoenix:192.168.199.154> explain select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and cam_site='cam4' and toy='ambi' order by seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                                     PLAN                                                                      | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK 1 ROWS 73 BYTES SERIAL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_CAM_SITE_TOY ['cam4','ambi','2018-11-24']  | 73              | 1              | 0            |
|     SERVER FILTER BY FIRST KEY ONLY                                                                                                           | 73              | 1              | 0            |
|     SERVER 1 ROW LIMIT                                                                                                                        | 73              | 1              | 0            |
| CLIENT 1 ROW LIMIT                                                                                                                            | 73              | 1              | 0            |
+-----------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.033 seconds)

 

这个时候我就问自己，功能页面多一个查询条件，就要多建立好几个二级索引。才能满足速度要求。

比如 cam_site 和 toy，都不是必填项。

用户

可能只输入cam_site，需要1个二级索引。

可能只输入toy，需要1个二级索引。

可能同时输入两个，需要1个二级索引。

简单的两个条件，就要3个索引。

 

比如页面有6个查询条件！！需要多少二级索引！！！ 几何倍增长？ 疯了疯了

同一张表，索引数量不得超过10，索引表越多，插入数据越慢！！

 

这时候，其实想法 比 技术要重要。

1、从需求方面 (大数据查询，不适合太多条件的查询)。无意义的查询条件，统统PK掉。

     需要规定一个必填的查询字段，比如最通用的：时间(yyyy-MM-dd)..

2、从表设计方面，row key可以是联合主键。可以利用这点，减少二级索引数量。比如show_date 就是主键。

3、从逻辑方面，比如我需要这几个查询条件，需要几个二级索引？？

时间、邮箱、网站、玩具

实际上，我只要4个二级索引，就够了。

时间走 rowkey这就不说了。

如果用户输入 时间、邮箱、玩具，那么怎么处理？ 耗时也挺长的41秒。

0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com' and toy='ambi' order by seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (41.395 seconds)


0: jdbc:phoenix:192.168.199.154> select seq_id from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com';
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.035 seconds)


0: jdbc:phoenix:192.168.199.154> select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (40.367 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi','2018-11-24']  | null            | null           | null         |
|     SERVER FILTER BY FIRST KEY ONLY AND "EMAIL" = 'wjc@45555.com'                                               | null            | null           | null         |
|     SERVER 1 ROW LIMIT                                                                                          | null            | null           | null         |
| CLIENT 1 ROW LIMIT                                                                                              | null            | null           | null         |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.04 seconds)

从执行计划来看，我想需要改造一下，email二级索引。

0: jdbc:phoenix:192.168.199.154> drop index IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL on T_EXTENSION_ALL_DATAS_SHOW;
No rows affected (2.275 seconds)


0: jdbc:phoenix:192.168.199.154> CREATE INDEX IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ON T_EXTENSION_ALL_DATAS_SHOW(EMAIL) INCLUDE(CAM_SITE,TOY);
999,999 rows affected (76.893 seconds)


0: jdbc:phoenix:192.168.199.154> select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (40.06 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
|                                                      PLAN                                                       | EST_BYTES_READ  | EST_ROWS_READ  | EST_INFO_TS  |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi','2018-11-24']  | null            | null           | null         |
|     SERVER FILTER BY FIRST KEY ONLY AND "EMAIL" = 'wjc@45555.com'                                               | null            | null           | null         |
|     SERVER 1 ROW LIMIT                                                                                          | null            | null           | null         |
| CLIENT 1 ROW LIMIT                                                                                              | null            | null           | null         |
+-----------------------------------------------------------------------------------------------------------------+-----------------+----------------+--------------+
4 rows selected (0.034 seconds)


0: jdbc:phoenix:192.168.199.154> select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com';
+---------+-------+
| SEQ_ID  |  TOY  |
+---------+-------+
| 45555   | ambi  |
+---------+-------+
1 row selected (0.07 seconds)

执行的结果，还是不理想。完整的要40秒，连执行计划都没有任何变化。~~~~(>_<)~~~~

但是，子查询真的是非常快的，为啥包了一层就慢了40秒？？？？

 

没办法出绝招了：Hint 

0: jdbc:phoenix:192.168.199.154> select /*+ INDEX(T_EXTENSION_ALL_DATAS_SHOW IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL) */ t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------+
| SEQ_ID  |
+---------+
| 45555   |
+---------+
1 row selected (0.017 seconds)


0: jdbc:phoenix:192.168.199.154> explain select /*+ INDEX(T_EXTENSION_ALL_DATAS_SHOW IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL) */ t1.seq_id as seq_id from (select seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t1 where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                                          PLAN                                                                           | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 1-CHUNK 1182604 ROWS 314572800 BYTES PARALLEL 1-WAY REVERSE RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ['wjc@45555.com','2018-11-24']  | 314572800       | 1182604        | 1543050902166  |
|     SERVER FILTER BY "TOY" = 'ambi'                                                                                                                     | 314572800       | 1182604        | 1543050902166  |
|     SERVER 1 ROW LIMIT                                                                                                                                  | 314572800       | 1182604        | 1543050902166  |
| CLIENT 1 ROW LIMIT                                                                                                                                      | 314572800       | 1182604        | 1543050902166  |
+---------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
4 rows selected (0.048 seconds)

哈哈，太好了，非常完美。

phoenix ，通常是会自动选择最优的二级索引，但有时它并不是很聪明。

这个时候就需要我们告诉它，应该使用哪个二级索引！！

 

方法很简单，从逻辑角度 邮箱就是最细粒度。如果查询条件，有最细粒度。

先拿最细粒度字段走二级索引查询结果。（进过最细粒度条件的过滤，这个结果集就小了很多很多！）

再将结果集，使用玩具名称过滤。

意思就是查两次，速度一样很快。哈哈

 

 

注意：有时走二级索引，不一定会比过滤快？(结果集小的时候，filter有优势！)

另一种方式，也需要1秒多。这种方式，邮箱、时间走得二级索引、玩具也是走二级索引。就像是饶了一个大弯，哈哈。

0: jdbc:phoenix:192.168.199.154> select t1.seq_id from T_EXTENSION_ALL_DATAS_SHOW t1 inner join (select show_date,email,seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t2 on(t1.show_date=t2.show_date and t1.seq_id= t2.seq_id) where t1.toy='ambi' order by t1.seq_id desc limit 1;
+------------+
| T1.SEQ_ID  |
+------------+
| 45555      |
+------------+
1 row selected (1.171 seconds)


0: jdbc:phoenix:192.168.199.154> explain select t1.seq_id from T_EXTENSION_ALL_DATAS_SHOW t1 inner join (select show_date,email,seq_id,toy from T_EXTENSION_ALL_DATAS_SHOW where show_date='2018-11-24' and email='wjc@45555.com') t2 on(t1.show_date=t2.show_date and t1.seq_id= t2.seq_id) where t1.toy='ambi' order by t1.seq_id desc limit 1;
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
|                                                                                PLAN                                                                                 | EST_BYTES_READ  | EST_ROWS_READ  |  EST_INFO_TS   |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
| CLIENT 1-CHUNK PARALLEL 1-WAY RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_TOY ['ambi']                                                                           | 314572800       | 1182604        | 1543050902166  |
|     SERVER FILTER BY FIRST KEY ONLY                                                                                                                                 | 314572800       | 1182604        | 1543050902166  |
|     SERVER TOP 1 ROW SORTED BY ["T1.:SEQ_ID" DESC]                                                                                                                  | 314572800       | 1182604        | 1543050902166  |
| CLIENT MERGE SORT                                                                                                                                                   | 314572800       | 1182604        | 1543050902166  |
| CLIENT LIMIT 1                                                                                                                                                      | 314572800       | 1182604        | 1543050902166  |
|     PARALLEL INNER-JOIN TABLE 0 (SKIP MERGE)                                                                                                                        | 314572800       | 1182604        | 1543050902166  |
|         CLIENT 1-CHUNK 1182604 ROWS 314572800 BYTES PARALLEL 1-WAY ROUND ROBIN RANGE SCAN OVER IDX_T_EXTENSION_ALL_DATAS_SHOW_EMAIL ['wjc@45555.com','2018-11-24']  | 314572800       | 1182604        | 1543050902166  |
+---------------------------------------------------------------------------------------------------------------------------------------------------------------------+-----------------+----------------+----------------+
7 rows selected (0.051 seconds)

 

关于phoenix查询的优化，今天就到这里。END

 

  

     

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Cky079
关注
  • 5
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
datagrip连接phoenix教程
05-11
datagrip连接phoenix教程，DBeaver也可参考
robotframework通过phoenix查询Hbase数据
10-13
robotframework自动化测试时，用到查询Hbase数据，没找到适合的库，自己写了个自定义关键字，基于python27的环境，里面关键字只涉及到查询语句，并有环境配置搭建及运用关键字说明，在实际中也经常遇到，分享出来，共同探讨之。
cdh6.3.2 集成 Phoenix
02-08
cdh6.3.2 适配 Phoenix； cdh6.3.2 集成 Phoenix
java通过phoenix进行简单的hbase条件查询的工具类
最新发布
01-09
可以进行简单的查询出hbase中单个字段的数据，来建立新表
使用客户端squirrel client连接phoenix查询HBase数据
10-09
使用客户端squirrel client连接phoenix查询HBase数据
mysql phoenix_mysql和nosql的性能对比--关于phoenix的关系型条件查询
weixin_30114595的博客
01-19 256
之前说过关于phoenix在查询的过程中性能的问题，继续探讨。最近一直在找合适的方法，可以巧妙的完成sql和nosql的结合，总之就是利用sql的多条件查询，可以把储存在nosql中的数据读取出来。phoenix的底层就是hbase存储，hbase的键值对查询的速度是很快的，机会不会有性能的问题。那么在phoenix的多条件查询为什么会比较慢，耗时需要1000万数据几分钟？我仔细对照了hbase中...
Phoenix存储与查询性能研究
cxy_19891109的博客
11-29 1019
1、前期准备 数据表：轨迹信息表：TRACE_INFO 2、插入数据研究 目前不支持批量插入数据的接口，模拟只能循环插入数据，测试一个批量插入100000条数据，平均时间大概在190s。 目前表里已经有1000000条数据： 3、根据条数限制查询 查询100条（0.314s）： 4、根据某个ID进行查询(0.175s) ID 是唯一的主键 5、根据订单号进行查询（非主键，也无索引）（7...
Phoenix边讲架构边调优
大数据星球-浪尖
11-26 3046
一 基础架构详解 1  概念 讲调优之前，需要大家深入了解phoenix的架构，这样才能更好的调优。 Apache Phoenix在Hadoop中实现OLTP和运营分析，实现低延迟应用是通过结合下面两个优势： 具有完整ACID事务功能的标准SQL和JDBC API的强大功能 通过利用HBase作为后台存储，为NoSQL世界提供了late-bound, schema-on-re
Phoenix性能优化
vicleev的博客
10-09 1867
1. 建表优化 Salting 翻译成中文是加盐的意思，本质是在hbase的rowkey的byte数组的第一个字节位置设定一个系统生成的byte值， 这个byte值是由主键生成rowkey的byte数组做一个哈希算法，计算得来的。Salting之后可以把数据分布到不同的region上，这样有利于phoenix并发的读写操作。 示例： CREATE TABLE TEST (HOST VARCHAR...
Phoenix优化——关于影响查询并发量的因素
fantuanbaba的博客
01-31 1941
概述         本文针对一个实际的项目中影响 Phoenix并发量2个因素进行介绍，希望能对大家有所帮助。 背景        刚上线时phoenix并发量和响应时间一直不理想，表现出两个问题，一是极其简单的点查（where in条件、走索引）单客户端并发量只有几十，二是多个客户端同时压测时tps反而会下降。尝试调了诸如threadPoolSize 等参数都没有明显提升。 踩坑CUR...
phoenix EDID Designer
05-11
phoenix EDID Designer , 只要有显示器接到笔记本上成功显示, 并且信息被成功保存在系统注册表中, 就能用这个软件读出来进行分析, 方便计算 fb_videomode 结构体的参数....
客户端phoenix安装、运行、创建与HBase表同名视图、聚合查询
10-09
客户端phoenix安装、运行、创建与HBase表同名视图、聚合查询
phoenix查询超时
戴着红领巾走世界
07-13 2275
由于数据量增大，phoenix查询超时 Error: Operation timed out. (state=TIM01,code=6000) java.sql.SQLTimeoutException: Operation timed out. 调整下HBase RPC Timeout 和 Phoenix Query Timeout时间
HBase之全文检索Phoenix
m0_58625397的博客
04-26 766
在线分析处理系统，hadoop、hbase、hive提供支持类似与mysql和hive中的数据库，对数据进行分类存放，按照业务域来划分类别，这些不同的业务域就叫做命名空间（namespace）。l 在HBase中有一个默认的命名空间叫做default，默认情况下，创建的表都在default命名空间下。l 在HBase中还有一个命名空间，叫做hbase，用于存放系统的内建表（namespace，meta）
Phoenix踩坑填坑记录
爱是与世界平行
09-16 1704
Phoenix踩坑填坑记录Phoenix建表语句如何添加二级索引判断某表是否存在判断索引是否存在Date类型日期，条件判断杂项 记录Phoenix开发过程中的填坑记录。 部分原文地址:phoenix 常见问题与总结 Phoenix建表语句 CREATE TABLE IF NOT EXISTS BUS_INFO_GPS_DATA(busno VARCHAR(10) not null,gpsTime ...
Phoenix--构建二级索引加快查询效率
qq_46893497的博客
12-21 524
使用Phoenix构建二级索引加快查询效率配置HBase支持Phoenix二级索引使用Phoenix创建二级索引 HBase通过rowkey来查询，否则就必须逐行地比较每一列的值，即全表扫瞄 数据量较大的表，全表扫描的性能很差 如果需要从多个角度查询数据，不可能使用 rowkey 来实现查询。此时可使用secondary index（二级索引）来完成这件事 Phoenix提供了对HBase secondary index的支持 配置HBase支持Phoenix二级索引 1、在每一个 HRegionSe
配置phoenix连接hbase_Phoenix优化 | Phoenix业务迁移优化实战
weixin_30046717的博客
01-09 793
某线上Phoenix业务有28台RegionServer，实现类似Kylin的功能，存储多维聚合数据供下游查询。之前偶尔出现写入任务执行失败，查询响应时间长的问题。现在该业务要做机房迁移，但新机房资源不足，预计只能提供10台RegionServer服务器。经过优化，迁移后RegionServer降为16台，并将逐步降到10台(迁移是按照10台规模规划的，为了加快数据迁移速度临时借调几台)...
Hbase的SQL接口之Phoenix使用心得
一段曲折的旅程，一个艰难的人生
12-04 1181
HBase的简单使用心得
phoenix 查询语法
07-28
Phoenix查询语法可以通过JDBC来执行。在Phoenix中，可以使用标准的SQL语法来查询数据。以下是一些常用的Phoenix查询语法： 1. 查询所有数据： SELECT * FROM table_name; 2. 查询指定列的数据： SELECT column1,...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值