Hbase高手之路 – 第七章 – HBase和Phoenix(全文检索)整合
一、 apache phoenix简介
1. 简介
Apache Phoenix让Hadoop中支持低延迟OLTP和业务操作分析。
- 提供标准的SQL以及完备的ACID事务支持
- 通过利用HBase作为存储,让NoSQL数据库具备通过有模式的方式读取数据,我们可以使用SQL语句来操作HBase,例如:创建表、以及插入数据、修改数据、删除数据等。
- Phoenix通过协处理器在服务器端执行操作,最小化客户机/服务器数据传输
Apache Phoenix可以很好地与其他的Hadoop组件整合在一起,例如:Spark、Hive、Flume以及MapReduce。
2. olap和oltp
1) olap:在线分析处理系统,hadoop、hbase
2) oltp:在线事务处理系统,传统的关系数据库支持的
sql:结构化查询语言
acid:原子性、一致性、独立性和持久性
3. Phoenix的作用
1) 提供标准的sql和acid事务支持
2) 让NoSQL数据库具备了有模式的方式读取数据,可以使用sql来创建表、插入、修改和删除数据
3) Phoenix通过协处理器在服务器端执行操作,无侵入式
4) 可以很好的与其他hadoop生态组件整合,例如spark、hive、flume、flink以及MR
4. 使用Phoenix是否会影响HBase性能
- Phoenix不会影响HBase性能,反而会提升HBase性能
- Phoenix将SQL查询编译为本机HBase扫描
- 确定scan的key的最佳startKey和endKey
- 编排scan的并行执行
- 将WHERE子句中的谓词推送到服务器端
- 通过协处理器执行聚合查询
- 用于提高非行键列查询性能的二级索引
- 统计数据收集,以改进并行化,并指导优化之间的选择
- 跳过扫描筛选器以优化IN、LIKE和OR查询
- 行键加盐保证分配均匀,负载均衡
5. 哪些公司在使用Phoenix
6. 官方性能测试
1) Phoenix对标Hive(基于HDFS和HBase)
2) Phoenix对标Impala
3) 关于上述官网两张性能测试的说明
上述两张图是从Phoenix官网拿下来的,这容易引起一个歧义。就是:有了HBase + Phoenix,那是不是意味着,我们将来做数仓(OLAP)就可以不用Hadoop + Hive了?
千万不要这么以为,HBase + Phoenix是否适合做OLAP取决于HBase的定位。Phoenix只是在HBase之上构建了SQL查询引擎(注意:我称为SQL查询引擎,并不是像MapReduce、Spark这种大规模数据计算引擎)。HBase的定位是在高性能随机读写,Phoenix可以使用SQL快插查询HBase中的数据,但数据操作底层是必须符合HBase的存储结构,例如:必须要有ROWKEY、必须要有列蔟。因为有这样的一些限制,绝大多数公司不会选择HBase + Phoenix来作为数据仓库的开发。而是用来快速进行海量数据的随机读写。这方面,HBase + Phoenix有很大的优势。
二、 apache phoenix安装
1. 下载
2. 上传到服务器
3. 解压
tar xzvf phoenix-hbase-2.4-5.1.2-bin.tar.gz -C ../servers/
4. 修改hbase的配置文件
<!-- 支持HBase命名空间映射 -->
<property>
<name>phoenix.schema.isNamespaceMappingEnabled</name>
<value>true</value>
</property>
<property>
<name>hbase.table.sanity.checks</name>
<value>false</value>
</property>
<property>
<name>hbase.coprocessor.abortonerror</name>
<value>false</value>
</property>
<!-- 支持索引预写日志编码 -->
<property>
<name>hbase.regionserver.wal.codec</name>
<value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value>
</property>
5. 复制依赖包
- 依赖包的位置及介绍
- 复制phoenix的服务端jar包到master的lib文件夹
cp /export/servers/phoenix-hbase-2.4-5.1.2-bin/phoenix-server-hbase-2.4-5.1.2.jar .
- 复制phoenix的服务端jar包到两个worker的hbase的lib文件夹
scp phoenix-server-hbase-2.4-5.1.2.jar hadoop02:/export/servers/hbase-2.4.10/lib/
scp phoenix-server-hbase-2.4-5.1.2.jar hadoop03:/export/servers/hbase-2.4.10/lib/
- 复制phoenix的客户端jar包到phoenix客户端也就是hadoop01的phoenix的bin文件夹下
cp phoenix-client-hbase-2.4-5.1.2.jar bin/
6. 分发hbase的配置文件
scp conf/hbase-site.xml hadoop02:$PWD/conf
scp conf/hbase-site.xml hadoop03:$PWD/conf
7. 将配置好的hbase-site.xml文件复制到phoenix客户端也就是hadoop01的phoenix的bin目录下
cp /export/servers/hbase-2.4.10/conf/hbase-site.xml .
8. 重启hbase
9. 启动phoenix服务端
cd /export/servers/phoenix-hbase-2.4-5.1.2-bin
bin/sqlline.py hadoop01:2181
关闭方法:!quit
查看表
10. 查看hbase的web UI
三、 phoenix的使用
1. 需求
使用之前的订单数据,但是用phoenix来创建表,并进行数据的增删改查操作。
2. 创建表
- 语法:
create table if not exists 表名(
rowkey 名称 类型primary key,
列簇.列名 类型,
……
);
先用VS Code之类的编辑工具,写好创建表的语句
create table if not exists ORDER_DETAIL(
ID varchar primary key,
C1.STATIS varchar,
C1.PAY_MONEY float,
C1.PAY_WAY integer,
C1.USER_ID varchar,
C1.OPERATION_DATE varchar,
C1.CATEGORY varchar
);
再复制到phoenix的客户端运行
进行查看
在hbase的web UI界面查看刚创建的表
同时也可以看到表默认只有一个分区region,也就是没有分区
3. 查看表
- 语法:
!desc ORDER_DETAIL
4. 删除表
- 语法:
drop table if exists 表名;
drop table if exists ORDER_DETAIL;
5. 大小写问题
- 如果在使用列簇、列名的时候没有添加双引号,Phoenix会自动转换为大写
- 如果要将列名改为小写,则要用双引号括起来,
注意:如果一旦加了小写,后面任何使用该列的地方都需要使用双引号,否则会报错
6. 插入数据
在phoenix中,插入数据并不是insert,而是upsert,相当于insert+update,与hbase shell中的put相对应。如果不存在则插入,否则更新
- 语法:
upsert into ORDER_DETAIL1(列簇名.列名,……) values (值1,值2,……);
upsert into ORDER_DETAIL1 values ('000001','已提交',3050,1,'494419','2020-04-25 12:09:30','手机');
7. 查询数据
与标准的sql一样,phoenix也是用select实现数据的查询
- 语法:
select * from 表名;
select * from ORDER_DETAIL;
8. 更新数据
在phoenix中,更新数据也是用upsert
- 语法:
upsert into 表名(列名,列簇名.列名,……) values(值1,值2,……);
upsert into ORDER_DETAIL(ID,C1.STATUS) values ('000001','已付款');
9. 删除数据
在phoenix中,删除数据与标准的sql一样,也是用delete from实现数据的删除
- 语法:
delete from 表名 where rowkey列名=值;
delete from ORDER_DETAIL where ID='000002';
四、 HBase的命名空间
1. 简介
- 在一个项目中,需要使用HBase保存多张表,这些表会按照业务域来划分
- 为了方便管理,不同的业务域以名称空间(namespace)来划分,这样管理起来会更加容易
- 类似于Hive中的数据库,不同的数据库下可以放不同类型的表
- HBase默认的名称空间是「default」,默认情况下,创建表时表都将创建在 default 名称空间下
- HBase中还有一个命名空间「hbase」,用于存放系统的内建表(namespace、meta)
2. 创建命名空间
语法:
create_namespace 命名空间名
3. 查看命名空间列表
语法:
list_namespace
4. 查看命名空间
describe_namespace 命名空间名
5. 删除命名空间
语法:
drop_namespace 命名空间名
注意:
删除命名空间时,在该命名空间下必须没有表,否则无法删除
6. 在指定命名空间下创建表
语法:
create "命名空间名:表名","列簇名"
create "shop:goods","C1"
注意:
使用带有命名空间的表,使用冒号将命名空间和表名连接在一起
7. 添加数据到命名空间表
语法:
put "命名空间名:表名","rowkey","列簇:列名",值
put "shop:goods","000001","C1:price",5800
五、 列簇设计
- HBase列蔟的数量应该越少越好
- 两个及以上的列蔟HBase性能并不是很好
- 一个列蔟所存储的数据达到flush的阈值时,表中所有列蔟将同时进行flush操作
- 这将带来不必要的I/O开销,列蔟越多,对性能影响越大
- 一般情况下,只设计一个列簇
六、 版本设计
版本数一般设计为1
一般情况下,如果对数据不做修改,只保留一个版本,可以节省大量的存储空间
- 此处,我们需要保存的历史聊天记录是不会更新的,一旦数据保存到HBase中,就不会再更新
- 无需考虑版本问题
- 本次项目中只保留一个版本即可,这样可以节省大量空间
- HBase默认创建表的版本为1,故此处保持默认即可
七、 数据压缩
1. 压缩算法
hbase默认创建的表是不进行数据压缩的,进行数据压缩可以节省大量的存储空间,hbase可以使用多种数据压缩编码,包括LZO、SNAPPY、GZIP。
在HBase可以使用多种压缩编码,包括LZO、SNAPPY、GZIP。只在硬盘压缩,内存中或者网络传输中没有压缩。
- GZIP的压缩率最高,但是其实CPU密集型的,对CPU的消耗比其他算法要多,压缩和解压速度也慢;
- LZO的压缩率居中,比GZIP要低一些,但是压缩和解压速度明显要比GZIP快很多,其中解压速度快的更多;
- Zippy/Snappy的压缩率最低,而压缩和解压速度要稍微比LZO要快一些
2. 查看表的压缩方式
hbase创建的表默认是没有数据压缩的
3. 设置数据压缩
1) 创建新表的时候
语法:
create "命名空间名:表名",{NAME => '列簇名', COMPRESSION => '压缩算法名'}
示例:
create "shop:orders",{NAME => 'C1', COMPRESSION => 'GZ'}
2) 修改已有的表
语法:
alter "命名空间名:表名",{NAME => '列簇名', COMPRESSION => '压缩算法名'}
示例
alter "shop:goods",{NAME => 'C1', COMPRESSION => 'GZ'}
八、 ROWKEY设计原则
1. 避免使用递增行键/时序的数据
如果ROWKEY设计的都是按照顺序递增(例如:时间戳),这样会有很多的数据写入时,负载都在一台机器上。我们尽量应当将写入大压力均衡到各个RegionServer
2. 避免rowkey和列的长度过大
- 在HBase中,要访问一个Cell(单元格),需要有ROWKEY、列蔟、列名,如果ROWKEY、列名太大,就会占用较大内存空间。所以ROWKEY和列的长度应该尽量短小
- ROWKEY的最大长度是64KB,建议越短越好
3. 使用long等类型比String类型更节省空间
long类型为8个字节,8个字节可以保存非常大的无符号整数,例如:18446744073709551615。如果是字符串,是按照一个字节一个字符方式保存,需要快3倍的字节数存储。
4. rowkey唯一性
- 设计rowkey时,必须保证它的唯一性。
- 如果不唯一,因为hbase采用key-value的存储方式,若向hbase的一张表中插入相同rowkey的数据,则原来的数据会被新的数据覆盖
5. 避免数据热点
1) 热点
- 热点是指大量的客户端(client)直接访问集群的一个或者几个节点(可能是读、也可能是写)
- 大量地访问量可能会使得某个服务器节点超出承受能力,导致整个RegionServer的性能下降,其他的Region也会受影响
2) 预分区
默认情况下,一个hbase表只有一个分区(region),被托管在一个RegionServer中
3) start key和end key
每个region有两个重要的属性:start key和end key,标识这个region维护的rowkey的范围。如果只有一个region,这它们都为空,没有边界。所有的数据都会存放在这个region中。但数据很大的时候,会将region通过去一个mid key来分成两个region。
4) 预分区的个数
预分区的个数=节点的倍数,如果有三个节点,则预分区的个数为6。
默认region的大小为10G,假如进行预估接下来的一年时间数据的大小为10T,则需要的预分区数=10*1000G/10G=1000个region。
5) ROWKEY避免热点设计
1. 反转策略
- 如果设计出的ROWKEY在数据分布上不均匀,但ROWKEY尾部的数据却呈现出了良好的随机性,可以考虑将ROWKEY的翻转,或者直接将尾部的bytes提前到ROWKEY的开头。
- 反转策略可以使ROWKEY随机分布,但是牺牲了ROWKEY的有序性
- 缺点:利于Get操作,但不利于Scan操作,因为数据在原ROWKEY上的自然顺序已经被打乱
2. 加盐策略
- Salting(加盐)的原理是在原ROWKEY的前面添加固定长度的随机数,也就是给ROWKEY分配一个随机前缀使它和之间的ROWKEY的开头不同
- 随机数能保障数据在所有Regions间的负载均衡
- 缺点:因为添加的是随机数,基于原ROWKEY查询时无法知道随机数是什么,那样在查询的时候就需要去各个可能的Regions中查找,加盐对比读取是无力的
3. 哈希策略
- 基于 ROWKEY的完整或部分数据进行 Hash,而后将Hashing后的值完整替换或部分替换原ROWKEY的前缀部分
- 这里说的 hash 包含 MD5、sha1、sha256 或 sha512 等算法
- 缺点:Hashing 也不利于 Scan,因为打乱了原RowKey的自然顺序
九、 设置预分区
1. 指定start key和end key来分区
1) 创建预分区
语法:
create "test:t1",'C1',SPLITS=>['10','20','30','40']
2) hbase的web ui查看分区的占用情况
点击t1表,查看详情
2. 指定分区的数量、分区策略
1) 创建预分区
create "test:t2","C1",{NUMREGIONS=>6,SPLITALGO=>'HexStringSplit'}
2) hbase的web ui查看分区的占用情况
点击t2查看详情
3) 分区数量
一般按照数据量来预估或者根据节点数的倍数来设定
4) 分区策略
- HexStringSplit:rowkey是采用十六进制字符串作为前缀
- DecimalStringSplit:rowkey采用十进制数字字符串作为前缀
- UniformStringSplit:rowkey的前缀是随机的
十、 Phoenix的视图
Phoenix的视图就是对已经创建的HBase表建立映射关系,从而实现对已有表的快速查询
1. 创建视图
语法:
create view if not exists "命名空间名"."表名" (
"Rowkey名" 类型r primary key,
"列簇"."列名" 类型,
"列簇"."列名" 类型
……
);
create view if not exists "shop"."goods" (
"id" varchar primary key,
"C1"."name" varchar,
"C1"."price" varchar
);
2. 查询数据
select * from "命名空间名"."表名" where 条件;
十一、 二级索引
一般情况下,Hbase会根据rowkey建立索引,来提供查询的速度,这样的索引叫做一级索引。如果根据name进行查询,因为没有根据name建立索引,所以查询效率比较低,这是可以给name来创建二级索引。
1. 索引分类
- 全局索引
- 本地索引
- 覆盖索引
- 函数索引
1) 全局索引
- 全局索引适用于读多写少业务
- 全局索引绝大多数负载都发生在写入时,当构建了全局索引时,Phoenix会拦截写入(DELETE、UPSERT值和UPSERT SELECT)上的数据表更新,构建索引更新,同时更新所有相关的索引表,开销较大
- 读取时,Phoenix将选择最快能够查询出数据的索引表。默认情况下,除非使用Hint,如果SELECT查询中引用了其他非索引列,该索引是不会生效的
- 全局索引一般和覆盖索引搭配使用,读的效率很高,但写入效率会受影响
语法:
create index 索引名称 on 表名(列名1,列名2……);
举例:
create index idxname on ORDER_DETAIL(CATEGORY);
注意:
Phoenix中的索引,其实底层还是Hbase的表结构,这些索引表是专门用来加快查询速度。
2) 本地索引
- 本地索引适合写操作频繁,读相对少的业务
- 当使用SQL查询数据时,Phoenix会自动选择是否使用本地索引查询数据
- 在本地索引中,索引数据和业务表数据存储在同一个服务器上,避免写入期间的其他网络开销
- 在Phoenix 4.8.0之前,本地索引保存在一个单独的表中,在Phoenix 4.8.1中,本地索引的数据是保存在一个影子列蔟中
- 本地索引查询即使SELECT引用了非索引中的字段,也会自动应用索引的
注意:创建表的时候指定了SALT_BUCKETS,是不支持本地索引的。
创建语法:
CREATE local INDEX 索引名称 ON 表名 (列名1, 列名2, 列名3...)
3) 覆盖索引
可以不需要在找到索引条目后返回到主表中,可以将关心的数据捆绑在索引行中,从而节省了读取的时间开销。
创建语法:
create index 索引名称 on 表名(列名1,列名2……) include(列名3);
create index idxcombo on ORDER_DETAIL1(CATEGORY,STATIS,PAY_MONEY) include(USER_ID);
scan "IDXCOMBO",{FORMATTER=>'toString'}
4) 函数索引
适用于高版本的phoenix,可以基于任意表达式(函数)创建索引
语法
create index 索引名称 on 表名(函数名(列名1),列名2……);
2. 创建索引
create index idxsuerid on ORDER_DETAIL1(C1.USER_ID) include(ID,C1.PAY_MONEY);
3. 根据索引查询数据
select USER_ID,ID,PAY_MONEY from ORDER_DETAIL1 where USER_ID="494419";
4. 删除索引
drop index 索引名 on 表名
drop index IDXCOMBO on ORDER_DETAIL1;