hbase
沐泽__
编程的意义是解决问题
展开
-
linux安装hbase 2.3.3 standalone模式启动
已配置免密登录已配置jdk 8export JAVA_HOME=/opt/jdk1.8.0_261export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarjava -versionjava version "1.8.0_261"Java(TM) SE Runtime Environment (build 1.8.0_261-b12)Java HotSpo原创 2022-04-06 23:57:00 · 1761 阅读 · 0 评论 -
Rowkey设计原理
Rowkey本身相当于一级索引。三大原则:唯一性原则:Rowkey在设计时必须保证其唯一性,这是由于HBase的核心存储结构是KeyValue形式,在同个版本表格的情况下,如果后添加的Rowkey与已有的相同,则会覆盖原先的数据(思:versions)。补充:排序原则:在Hbase中,Rowkey是按照Ascll的顺序排序存储的,因此在Rowkey的设计时,要充分利用这个特点,将经常读取的数据存储到一块,将最近可能会被访问的数据存储到一起(思:最大值-时间戳)。长度原则:Rowkey是一个二进制码流原创 2022-01-04 00:28:54 · 1362 阅读 · 0 评论 -
二级索引(hbase和es)
二级索引是为了让HBase能够提供多维度的查询能力。ES+HBase实现二级索引:查询条件和Rowkey存储到ES,适合复杂的条件查询和聚合查询。需要到处与结果相关联的原始数据时,根据结果的Rowkey去HBase查找。图片类似:https://img-blog.csdn.net/20150707220421422...原创 2022-01-04 00:28:09 · 1181 阅读 · 0 评论 -
hbase多条件查询(shell验证)
Rowkey设计时多会把常用到的条件查询的条件放入Rowkey中,按照字段序排序。如:person:age,height17_175 a17_179 b18_178 c18_176 d18_182 e19_170 f19_180 g20_179 h20_181 i20_184 j查询:18岁对Rowkey进行范围查询[18_,18~]查询:18岁,[175,180]对Rowkey进行范围查询[18_170,18_180]...原创 2022-01-04 00:26:34 · 1504 阅读 · 0 评论 -
hbase知识点梳理
是什么应用场景优缺点表格结构和属性:ttl,缓存大小,是否压缩原理图(进程层次)深层次原理图(存储层次)集成的文件系统常用shell命令:get,scan,过滤器注意点及demo1 rowkey设计时间戳逆序,加盐2 少用列就少用3 横向拓展用户界面查看引用:《Hadoop权威指南(第二版)》...原创 2021-12-21 09:33:25 · 910 阅读 · 0 评论 -
rowkey倒置时间戳
import org.apache.hadoop.hbase.util.Bytes;//填入station_id和时间戳,返回逆序时间戳和station_id生成的rowkeypublic class RowKeyConverter {//station_id长度private static final int STATION_ID_LENGTH = 12;/**@return A...原创 2019-03-29 16:28:13 · 977 阅读 · 0 评论 -
hbase表逻辑结构
目录文章目录目录11.1211.12原创 2021-07-28 22:26:18 · 93 阅读 · 0 评论 -
hbase预分区和注意点
一、预分区1 原因:热点问题:数据持续读写一个region(或节点)上。region自动分区会造成频繁IO。2 设置分区(前缀)范围-10,10-20,20-30,30-40,40-50,50-60,60-70,70-80,80-90,90-生成分区前缀:建表:造数据:查看web ui以验证二、注意点1 如何加盐2 每个RegionServer上分区多少合适...原创 2021-07-14 22:16:15 · 2072 阅读 · 1 评论 -
win10本地化安装hbase 1.3.1
win10本地化安装hbase 1.3.1一、下载地址一、解压到D盘二、配置环境变量三、配置文件1、 hbase-env.cmd2、hbase-site.xml四、启动/关闭五、创建表格六、Web UI:七、注意点:一、下载地址下载地址: https://archive.apache.org/dist/hbase/1.3.1/已安装jdk1.8以下安装步骤,可供参考一、解压到D盘D:\hbase-1.3.1二、配置环境变量HBASE_HOME=D:\hbase-1.3.1path中添原创 2021-06-26 18:08:28 · 436 阅读 · 2 评论