hbase
文章平均质量分 79
不写代码没饭吃
这个作者很懒,什么都没留下…
展开
-
HBase的RowKey设计
HBase的RowKey设计 文章目录HBase的RowKey设计rowkey长度原则rowkey散列原则rowkey唯一原则热点问题加盐哈希反转时间戳反转其他一些建议 HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。 HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有三种方式: 通过get方式,指定rowkey获取唯一一条记录原创 2021-11-27 08:39:14 · 317 阅读 · 0 评论 -
HBase BulkLoading
HBase BulkLoading 优点: 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入库的办法。配合mapreduce完成,高效便捷,而且不占用region资源,增添负载。 限制:原创 2021-11-27 08:38:42 · 139 阅读 · 0 评论 -
Phoenix
Phoenix Hbase适合存储大量的对关系运算要求低的NOSQL数据,受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀,一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式,Apache Phoenix即是。 Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作,并支持标准SQL中大部分特性:条件运算,分组,分页,等高级查询语法。 文章目录Phoenix1、Phoenix原创 2021-11-27 08:38:07 · 391 阅读 · 0 评论 -
HBase过滤器
HBase过滤器 文章目录HBase过滤器作用比较过滤器比较运算符常见的六大比较过滤器BinaryComparatorBinaryPrefixComparatorNullComparatorBitComparatorRegexStringComparatorSubstringComparator示例代码rowKey过滤器:RowFilter列簇过滤器:FamilyFilter列过滤器:QualifierFilter列值过滤器:ValueFilter专用过滤器单列值过滤器:SingleColumnValueF原创 2021-11-27 08:37:33 · 642 阅读 · 0 评论 -
hbase分布式集群搭建
1、启动hadoop start-all.sh 验证 http://master:50070 2、启动zookeeper 需要在在三台中分别启动 zkServer.sh start zkServer.sh status 搭建hbase 1、上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz 2、修改hbase-env.sh文件 增加java配置 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 关闭默认zk配置 export HBA原创 2021-11-27 08:36:59 · 95 阅读 · 0 评论 -
hbase分布式集群搭建
1、启动hadoop start-all.sh 验证 http://master:50070 2、启动zookeeper 需要在在三台中分别启动 zkServer.sh start zkServer.sh status 搭建hbase 1、上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz 2、修改hbase-env.sh文件 增加java配置 export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 关闭默认zk配置 export HBA原创 2021-11-27 08:36:13 · 224 阅读 · 0 评论