![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase-大表哥
_东极
少年锦时
展开
-
hbase的预分区
对于hbase的预分区,首先预估源数据的rowkey前缀规则,一般推荐是region server的个数,保证rowkey平均分配,如rowkey客户id,推荐将客户id反转,分区规则 0-10create 't1', 'f1', SPLITS => ['0', '1', '2', '3','4','5','6','7','8','9']可以观察到其start key 和 end key的分布写入两条数据验证一下可以看到写请求变化注意: truncate操作会丢失所有预分区.原创 2022-05-17 23:35:14 · 872 阅读 · 0 评论 -
hbase2.x安装
文章目录1.上传hbase的包,并解压2.hbase-env.sh修改内容export HBASE_MANAGES_ZK=false3.hbase-site.xml修改内容<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://c701:8020/hbase</value> </property> <原创 2021-02-25 15:23:17 · 411 阅读 · 0 评论 -
hbase配置信息详解
hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase−{java.io.tmpdir}/hbase-java.io.tmpdir/hbase−{user.name};hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:9000/hbase类似,带全限定名;hbase.cluster.distributed:h原创 2021-01-28 15:56:58 · 2430 阅读 · 0 评论 -
(6)HBase的API操作(java版本)
文章目录初始化创建hbase连接表是否存在创建表删除表向表中插入单条数据根据rowKey删除多条数据初始化创建hbase连接 public static Connection init(){ Configuration conf = new Configuration(); //使用HbaseConfiguration单例方法实例化 con...原创 2019-11-25 00:27:41 · 375 阅读 · 0 评论 -
hbase shell 报错ERROR: can't convert Fixnum into String
文章目录场景再现解决方案场景再现修改hbase表的版本时报错alter 'TEST:REAL_VALUE', {NAME => 'data', VERSIONS => 5}报错can’t convert Fixnum into String解决方案虚拟机多次不正确关闭,导致不稳定,重启下hbase即可...原创 2019-11-19 00:03:30 · 559 阅读 · 0 评论 -
(5)HBase原理
文章目录读流程写流程数据flush过程数据合并过程读流程1)Client先访问zookeeper,从meta表读取region的位置,然后读取meta表中的数据。meta中又存储了用户表的region信息;2)根据namespace、表名和rowkey在meta表中找到对应的region信息;3)找到这个region对应的regionserver;4)查找对应的region;5)先从...原创 2019-11-17 23:44:59 · 209 阅读 · 0 评论 -
(4)HBase数据结构
文章目录RowKeyColumn FamilyCellTime Stamp命名空间RowKey与nosql数据库们一样,RowKey是用来检索记录的主键。访问HBASE table中的行,只有三种方式:1.通过单个RowKey访问(get)2.通过RowKey的range(正则)(like)3.全表扫描(scan)RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB,...原创 2019-11-17 23:40:45 · 375 阅读 · 0 评论 -
(3)Hbase的shell操作
文章目录基本操作表的操作基本操作1.进入HBase客户端命令行[root@note01 conf]# hbase shell2.查看帮助命令hbase(main):001:0> help3.查看当前数据库中有哪些表hbase(main):002:0> list表的操作1.创建命名空间hbase的命名空间类似于数据库中的数据库概念hbase(main):0...原创 2019-11-16 23:39:13 · 295 阅读 · 0 评论 -
(2)Hbase安装
文章目录前提条件修改HBase对应的配置文件HBase服务的启动查看HBase页面前提条件1.Zookeeper正常部署并启动2.Hadoop正常部署并启动解压hbasetar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/module修改HBase对应的配置文件hbase-env.sh修改内容export JAVA_HOME=/opt/module/...原创 2019-11-16 22:41:09 · 209 阅读 · 0 评论 -
(1)Hbase简介
文章目录HBase缘由Hbase特点1)海量存储2)列式存储3)极易扩展4)高并发(多核)5)稀疏HBase架构1)Client2)Zookeeper3)Hmaster(NameNode)4)HregionServer(DataNode)5)HDFSHBase中的角色HMasterRegionServer其他组件HBase缘由HBase的原型是Google的BigTable论文,受到了该论文思...原创 2019-11-16 22:10:33 · 272 阅读 · 0 评论 -
HBase的优化
文章目录高可用Hadoop通用性优化1) NameNode 元数据备份使用 SSD2) 定时备份 NameNode 上的元数据3)为NameNode指定多个元数据目录4) NameNode 的dir 自恢复5)HDFS保证RPC调用会有较多的线程数6) HDFS 副本数的调整7)HDFS文件块大小调整8) MapReduce Job 任务服务线程数调整9) Http 服务器工作线程数10)...原创 2019-02-08 17:10:57 · 250 阅读 · 0 评论 -
HBase读写数据流程
文章目录读数据流程写数据流程读数据流程1)HRegionServer保存着meta表以及表数据,要访问表数据,首先Client先去访问zookeeper,从zookeeper里面获取meta表所在的位置信息,即找到这个meta表在哪个HRegionServer上保存着2)接着Client通过刚才获取的HRegionServer的IP来访问Meta表所在的HRegionServer,从而读取到...原创 2019-02-03 22:16:43 · 354 阅读 · 0 评论 -
Hbase角色和架构
HBase角色HMaster功能:监控RegionServer处理RegionServer故障转移处理元数据变更处理region的分配或移除空闲时对数据进行负载均衡通过zookeeper发布自己的位置给客户端RegionServer功能负责存储Hbase的实际数据处理分配给它的region刷新缓存到HDFS上维护HLog执行压缩负责处理Region分片组件...原创 2019-02-02 21:25:27 · 1564 阅读 · 0 评论 -
HBase的API以及基本使用
创建表package com.zyd.api;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop.hbase.HTableDescriptor;i...原创 2018-11-19 01:16:23 · 606 阅读 · 0 评论