假装勤奋-CSDN博客

原创 phoenix 实践总结

创建表建表之后，不建议删除后重建，因为table 只能映射建表后的数据，也就是不能识别历史数据(关闭列优化可以直接映射历史数据)建表字段尽可能齐全，否则不能插入数据（spark使用）字段类型初始建议全部设为varchar, 否则会类型冲突（当然也可以慢慢解决，笔者在这就不一一验证了）表名大写，因为表数据量超过两百万之后，需要异步更新索引时，表名必须大写，否则更新不了（笔者...

2019-05-13 14:19:52 315

原创 phoenix create table 刷入历史数据四种方式

phoenix 已知 create table 两种方式：列映射优化与关闭列映射优化，第一种方式不会映射历史数据，第二种会映射历史数据，以下四种方式都是以关闭列优化方式建表为前提，补充历史数据可以分为两大类同步与异步：异步方式（建议修改表名为大写）a）phoenix sql 在线洗数据适合小批量pheonix 内部导数据（建议五十万以内）b）hive s...

2019-05-10 20:02:14 1094

原创 phoenix 安装

下载安装包首先下载 phoenix 对应 hbase jar包http://phoenix.apache.org/download.html测试环境已下载apache-phoenix-4.14.1-HBase-1.2-bin.tar.gz （80 /data/soft）安装将 apache-phoenix-4.14.1-HBase-1.2-bin.tar....

2019-05-10 19:53:21 416

原创 phoenix 优势

架构完善：目前数据中心hbase集群，由于其自起身查询性能缺陷，制约了业务发展，采用phoenix完善集群hbase查询性能，phoenix索引查询千条内结果可以保持在毫秒级以内，大幅提升hbase 数据查询性能，且在数据量持续上升过程中，索引查询性能几乎不受影响自动管理大合并与snappy压缩后，hbase集群CPU使用率保持在10%左右，phoenix也是耗CPU行为...

2019-05-10 19:49:29 1255

原创 phoenix 并发压测

测试环境2 CPU 40（逻辑）核内存 62G测试 sqlselect "account_name" from F_FACT_URL_ACCOUNT_STATUS where "account_id" ='465132133' limit 1;select "account_name","account_id" from F_FACT_URL_ACCOUNT...

2019-05-10 19:40:48 1472 1

原创 snappy on spark

配置spark 之前有个前提，就是hadoop snappy 安装成功，检验方法在我上一篇博客有（https://blog.csdn.net/qq_34394465/article/details/85064406）接下来添加 spark snappy 依赖包vim /data/soft/spark-2.1.0-bin-hadoop2.7/conf/spark-defaults.con...

2018-12-25 11:35:34 1268

原创 Snappy Installer

线上集群磁盘不够，集群多次报警，采用snappy压缩格式压缩磁盘文件,缓解集群压力 1.压缩比较在这只列出两种比较争议的压缩格式比较lzo压缩压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式(需要建索引，文件修改后需要重新建索引)；支持hadoop native库；可以在linux系统下安装lzop命令，使...

2018-12-18 14:37:30 799

原创 hive 权限管理

hive做为table的存储层，spark sql,mapreduce, Presto 等等通过 Hive's HCatalog API 访问元数据信息，进而访问hdfs数据，此时要对hdfs访问做权限控制(hdfs 默认已经处理)，元数据访问需要做权限控制。 hive sql 执行引擎, hive的一个非常普遍的用法,主要针对sql的用户和BI工具 ...

2018-09-10 14:51:22 2190

原创 hbase region split and merge details

一、Region 概念Region是表获取和分布的基本元素，由每个列族的一个Store组成。对象层级图如下：Table (HBase table) Region (Regions for the table) Store (Store per ColumnFamily for each Region for the table) MemStore (MemStore for each St...

2018-07-23 14:48:44 610

qq_34394465的博客