hbase
文章平均质量分 78
假装勤奋
这个作者很懒,什么都没留下…
展开
-
hbase region split and merge details
一、Region 概念Region是表获取和分布的基本元素,由每个列族的一个Store组成。对象层级图如下:Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for each Region for the table) MemStore (MemStore for each St...原创 2018-07-23 14:48:44 · 635 阅读 · 0 评论 -
phoenix 并发压测
测试环境2 CPU 40(逻辑)核内存 62G测试 sqlselect "account_name" from F_FACT_URL_ACCOUNT_STATUS where "account_id" ='465132133' limit 1;select "account_name","account_id" from F_FACT_URL_ACCOUNT...原创 2019-05-10 19:40:48 · 1529 阅读 · 1 评论 -
phoenix 优势
架构完善:目前数据中心hbase集群,由于其自起身查询性能缺陷,制约了业务发展,采用phoenix完善集群hbase查询性能,phoenix索引查询千条内结果可以保持在毫秒级以内,大幅提升hbase 数据查询性能,且在数据量持续上升过程中,索引查询性能几乎不受影响自动管理大合并与snappy压缩后,hbase集群CPU使用率保持在10%左右,phoenix也是耗CPU行为...原创 2019-05-10 19:49:29 · 1302 阅读 · 0 评论 -
phoenix 安装
下载安装包首先下载 phoenix 对应 hbase jar包http://phoenix.apache.org/download.html测试环境已下载apache-phoenix-4.14.1-HBase-1.2-bin.tar.gz (80 /data/soft)安装将 apache-phoenix-4.14.1-HBase-1.2-bin.tar....原创 2019-05-10 19:53:21 · 459 阅读 · 0 评论 -
phoenix create table 刷入历史数据四种方式
phoenix 已知 create table 两种方式: 列映射优化 与 关闭列映射 优化,第一种方式 不会 映射历史数据,第二种 会映射 历史数据 ,以下 四种方式都是以 关闭 列优化 方式建表为前提,补充历史数据可以分为两大类同步与异步:异步方式(建议修改表名为大写)a)phoenix sql 在线洗数据适合小批量pheonix 内部导数据 (建议五十万以内)b)hive s...原创 2019-05-10 20:02:14 · 1143 阅读 · 0 评论 -
phoenix 实践总结
创建表建表之后,不建议删除后重建,因为table 只能映射 建表后的数据,也就是不能识别历史数据(关闭列优化可以直接映射历史数据)建表字段尽可能齐全,否则不能插入数据(spark使用)字段类型初始建议全部设为varchar, 否则会类型冲突(当然也可以慢慢解决,笔者在这 就不一一验证了)表名大写,因为表数据量超过两百万之后,需要异步更新索引时,表名必须大写,否则更新不了(笔者...原创 2019-05-13 14:19:52 · 336 阅读 · 0 评论