hbase
文章平均质量分 74
mnasd
这个作者很懒,什么都没留下…
展开
-
HBase内存配置及JVM优化
本文从HBase的内存布局说起,先充分了解HBase的内存区的使用与分配,随后给出了不同业务场景下的读写内存分配规划,并指导如何分析业务的内存使用情况,以及在使用当中写内存Memstore及读内存扩展bucketcache的一些注意事项,最后为了保障群集的稳定性减少和降低GC对于集群稳定性的影响,研究及分享了一些关于HBase JVM配置的一些关键参数机器作用和范例,希望这些不断充实的经验能确保HBase集群的稳定性能更上一个台阶,大家有任何的想法和建议也欢迎一起讨论。转载 2022-09-23 14:53:19 · 2327 阅读 · 0 评论 -
hbase压测
hbase压测,通过自带集成的工具PerformanceEvaluation的全名org.apache.hadoop.hbase.PerformanceEvaluation,可以在有命令行都服务上hbase pe执行参考链接:HBase——PerformanceEvaluation(压测工具) - 曹伟雄 - 博客园随机写压测 hbase pe --table=randomwriteTest --nomapred --oneCon=true --valueSize=100 --c.原创 2022-05-12 21:40:37 · 847 阅读 · 0 评论 -
如何定位一条记录所属region,如何查看一个region的数据量,如何查看一个Cell的所有版本
1.如何定位一条记录所属regionHTable table = new HTable(conf, "testhbase");HRegionLocation location = table.getRegionLocation("01-1468404017235-1320");HRegionInfo rg = location.getRegionInfo();String regionname = Bytes.toString(rg.getRegionName());String strkey =原创 2021-01-31 14:06:48 · 697 阅读 · 0 评论 -
ambari hbase 调优
hbase配置[root@node1 test]# cat /usr/hdp/current/hbase-client/conf/hbase-site.xml<configuration>#Todo <property> <name>dfs.domain.socket.path</name> <value>/var/lib/hadoop-hdfs/dn_socket</val...转载 2020-06-21 15:50:25 · 1123 阅读 · 0 评论 -
hbase split
Region SplitRegion大小超过阀值(可以是hbase.hregion.max.filesize也可以是建表时列族配置的大小)后会触发Split,由RegionServer负责来拆分region并且offline下线该region。随后将两个子region添加到hbase:meta并在RegionServer上打开后汇报给HMaster。默认情况下Region会自动触发split,同时也可以手动运行split命令。Region Split可以手动split也可以自动split(建议),其中原创 2020-06-21 15:33:32 · 1140 阅读 · 0 评论 -
Hbase meta 表异常修复
标签(空格分隔): Hbase2|0一,Hbase meta元数据表2|11.1 背景线上Hbase 因为在hbase shell中清空 truncate 'table'一张表时候发现中途清空错了,嗯下了Ctrl+c,导致某张表在RIT 阶段。2|21.2 meta表修复一查看hbase:meta情况 hbase hbck 1.重新修复hbase meta表(根据hdfs上的.regioninfo文件,生成meta表) hbase hbck -fixM...原创 2020-05-17 13:44:33 · 1507 阅读 · 0 评论 -
Hbase复制(Replication )
Hbase复制使用手册1 Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2 环境这里hbase版本为hbase-0.98.6-cdh5.3.33 配置各个集群里配置hbase-site.xml里的复制功能:<property><name>hbase.replication</name>&...转载 2020-01-09 20:36:57 · 523 阅读 · 0 评论 -
HBase 数据迁移方案介绍
一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类:图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1 方案介绍Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp...转载 2020-01-09 20:32:27 · 176 阅读 · 0 评论 -
HBase Scan,Get用法
Scan,get用法1. get help帮助信息从下列get用法信息可以看出 get 后面可以跟table表名,rowkey,以及column,value.但是如果想通过get直接获取一个表中的全部数据是做不到的,这种情况就要用到另外一个命令scan。hbase(main):214:0> help 'get'Get row or cell contents; pass ...原创 2019-11-24 21:34:19 · 1394 阅读 · 0 评论 -
关于MemStore的刷新方式
关于MemStore的刷新方式:1、MemStore达到上限hbase.hregion.memstore.flush.size默认是128M的时候,会触发MemStore的刷新。这个参数表示单个MemStore的大小的阈值。这个时候是不阻塞写操作的。2、当一个Region的MemStore总量达到hbase.hregion.memstore.block.multiplier*h...原创 2019-08-11 22:48:43 · 161 阅读 · 0 评论 -
HBase 数据迁移方案介绍
一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类:图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1 方案介绍Hadoop层的数据迁移主要用到DistCp(Distributed Copy), 官方描述是:DistCp...转载 2019-07-28 16:53:30 · 667 阅读 · 0 评论 -
HBase最佳实践-列族设计优化
问题导读:1.BLOCKSIZE属性在不同场景下应该如何设置?2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么?3.Hbase需要注意哪些设计原则?随着大数据的越来越普及,HBase也变得越来越流行。会用HBase现在已经变的并不困难,然而,怎么把它用的更好却并不简单。那怎么定义‘用的好’呢?很简单,在保证系统稳定性、可用性的基础上...转载 2019-04-12 15:30:13 · 116 阅读 · 0 评论 -
HBase学习之路 (一)HBase基础介绍
目录产生背景 HBase简介 关系型数据库 和 非关系型数据库的典型代表 HBase 这个 NoSQL 数据库的要点 结构化、半结构化和非结构化 HBase 中的表特点 HBase表结构逻辑视图 名词概念 正文回到顶部产生背景自 1970 年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后, 好多公司实现处理大数据并从中受益...转载 2018-09-05 09:21:23 · 162 阅读 · 0 评论 -
drop and enable table
删除表先 disable 再删除; drop_all 支持正则表达式;举例hbase> disable_all 't.*'hbase> drop_all 't.*'hbase> drop 't1'启用/禁用 表enable/disable 启用、禁用单个表; enable_all 支持正则表达式,可同时操作多个表; disable_al...原创 2018-07-17 21:47:06 · 219 阅读 · 0 评论 -
create and alter table
create talbHBase建表是非常简单的,最简单举例如下:hbase(main):005:0> help 'create'Creates a table. Pass a table name, and a set of column familyspecifications (at least one), and, optionally, table configura...原创 2018-07-17 21:40:52 · 576 阅读 · 0 评论 -
HBase常用操作之namespace
1、介绍在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作,HBase全局管理员可以创建、修改和回收namespace的授权。2、namespaceHBase系统默认定义了两个缺省的namespacehbase:系统内建表,包...转载 2018-06-04 17:39:21 · 5033 阅读 · 0 评论 -
hdp hbase thrift
hdp 控制台没有thrift 需要单独启动/usr/hdp/2.6.0.3-8/hbase/bin ./hbase-daemon.sh start thrift原创 2018-05-17 14:11:43 · 732 阅读 · 0 评论