002 HBase
文章平均质量分 50
Oozie123
这个作者很懒,什么都没留下…
展开
-
HBase集群整体宕机报告(2016.7.13)
情景与操作记录 10点50分左右,接到运维人员通知,HBase集群B所有节点宕机,以下记录恢复集群的所有操作。登录HBase UI:http://192.168.3.146:60010/,无法登录 登录hbase shell 查看:>status 'simple'5 dead servers所有regionserver确实都挂掉,迅速拉起所有的regionserverservice hb原创 2016-07-13 14:50:27 · 1950 阅读 · 0 评论 -
HBase requestsPerSecond到底是什么?
阅读源码得知,主要代码如下:long currentRequestCount = getTotalRequestCount();requestsPerSecond = (currentRequestCount - lastRequestCount) / ((currentTime - lastRan) / 1000.0);lastRequestCount = currentRequestCoun原创 2016-03-04 17:30:47 · 2748 阅读 · 0 评论 -
HBase体系结构04(Master)
1 思维导图2 小结Master主要用于:监控RegionServer:通过心跳获取哪些活着,哪些已经挂掉。监控Region:哪些在过渡状态,哪些过渡时间超过阀值,时间多长。Region分配:RegionServer挂了region如何迁移;region发生split时,如何分配。元数据修改:Table/ColumnFamily的增删改,Table启用,禁用;原创 2015-12-25 11:19:34 · 831 阅读 · 0 评论 -
HBase体系结构02(Client)
HBase Client通过查询hbase:meta表找到感兴趣的RegionServers,这些RegionServers服务于特定的行范围。找到region(s)后,Client联络服务此region(s)的RegionServer,而不是联络master来处理读写请求。当执行负载均衡或RegionServer死亡时,master就会将region(s)重新分配,Client就需要重新查询目录表原创 2015-12-04 09:14:12 · 771 阅读 · 0 评论 -
HBase体系结构01(Catalog Tables)
目录表hbase:meta存在于HBase表中,在HBase shell中list命令中会过滤掉,但实际和普通表无任何区别。1 -ROOT- -ROOT-表在HBase 0.96后被移除。-ROOT-表记录.META.表位置(现在叫hbase:meta),-ROOT-表结构如下:key.MeTA. region key (.META.,,1)Valuesinfo:regioninfo (原创 2015-12-03 09:42:15 · 1972 阅读 · 0 评论 -
HBase shell中使用fliter
在hbase的命令行中,可以直接使用filter进行scan,命令如下所示:import org.apache.hadoop.hbase.filter.CompareFilterimport org.apache.hadoop.hbase.filter.SingleColumnValueFilterimport org.apache.hadoop.hbase.filter.SubstringCo原创 2016-01-04 17:41:43 · 751 阅读 · 0 评论 -
HBase体系结构00(Overview)
1 NoSQLHBase是一种NoSQL数据库,HBase实际上更像是数据存储而不是数据库,相比RDBMS它缺少列类型,二级索引,触发器以及高级的查询语言等。然而,HBase支持线性和模块化扩展,它有以下特性:读写强一致性:不是最终一致性,方便高速聚合计数。自动分片:HBase tables依据regions分布于集群,随着数据的增长,regions自动split和重新分布于集群。Region原创 2015-12-02 09:29:00 · 509 阅读 · 0 评论 -
HBase Metrics
HBase通过Hadoop metrics API统计指标,默认是10秒统计一次,可以把这些指标与Ganglia结合,也可以过滤某些指标或者扩展指标。1 指标设置HBase 0.95后,HBase附带了默认的指标配置或sink。编辑文件conf/hadoop-metrics2-hbase.properties配置region server的指标,重启改变了的region server使其生效。改变默翻译 2015-12-01 16:54:11 · 2918 阅读 · 0 评论 -
HBase性能调优
欢迎转载,请注明:http://blog.csdn.net/oozie1231 操作系统1.1 内存内存,内存,内存,别让HBase挨饿。1.2 64-bit用64位平台(和64位的JVM)。1.3 交换区小心交换区,设置swappiness为0。2 网络避免由于网络原因降低Hadoop和HBase集群性能,最重要的是考虑我们使用的交换硬件,当集群规模增大到2~3倍时,可能造成严重问题。 该着重翻译 2015-11-19 21:59:42 · 945 阅读 · 0 评论 -
ZooKeeper在HBase中的运用
一个分布式HBase系统安装依赖于一个运行着的ZooKeeper集群,所有参与的节点和客户端必须能够正常访问运行着的ZooKeeper集群。HBase默认为你提供一个节点的ZooKeeper集群,它会伴随着HBase start/stop进程的启动/停止而启动/停止,当然你也可以运行自己的一个ZooKeeper集群,为了切换是否启用默认ZooKeeper集群,需在conf/hbase-env.sh中翻译 2015-11-21 16:24:16 · 3428 阅读 · 0 评论 -
HBase性能调优之模式设计
可以转载,请注明:http://blog.csdn.net/oozie123。1 Number of Column Families目前还不能在两个及以上Column Families上运行良好,建议1个,参考On the number of column families。2 Key and Attribute Lengths尽可能短,另外使用压缩,参见Try to minimize row a翻译 2015-11-25 09:55:50 · 1046 阅读 · 0 评论 -
hbase性能监控
目前,淘宝的hbase监控平台上,主要借助ganglia来采集监控数据。采集到的监控数据会借助rrdtool开发库来解析数据,做进一步的处理,例如数据展现、报警触发、性能统计报表等等。采集的监控数据主要包括四个方面:某台机器OS层面上的数据,例如内存、磁盘、网络、load、网络流量等;某台regionserver(或是master)上的RPC请求,主要是RPC的处理平均时间和请求次数;某台regio转载 2015-11-25 10:40:54 · 3653 阅读 · 0 评论 -
容量规划和Region配置
欢迎转载,请注明:http://blog.csdn.net/oozie123 当我们规划HBase集群容量和执行初始配置时,有很多注意事项。合理配置我们得对HBase内部数据的处理有深入的理解。1 节点数和硬件/VM配置1.1物理数据大小你的数据在磁盘上的物理数据大小与逻辑数据大小截然不同,而且被下面选项影响:增加的HBase开销。keyvalue and keysize,每个keyvalu翻译 2015-11-19 08:50:35 · 5796 阅读 · 0 评论 -
HBase集群无法读写数据
1 问题现象HBase集群于11.17晚无法写入数据,所有的同步至HBase的服务都无法写入HBase库。2 问题原因所有的写入服务都无法写入数据,排除应用本身的问题,考虑HBase集群本身出现问题。进入hbase shell,scan一下当中的表是否可以读取数据,结果命令卡住无法正常读取数据。重新启动HBase集群,查看 master节点日志,发现: 由此,可到看到hbase:meta所在r原创 2015-11-18 16:23:00 · 3222 阅读 · 0 评论 -
Apache HBase Configuration
Apache HBase Configuration这一章节在getting started 章节的基础上,进一步阐述HBase配置。请仔细地阅读本章节,特别是那些能够保证你的HBase测试和部署正常运行,并防止数据丢失的先决条件。翻译 2015-11-11 11:28:04 · 568 阅读 · 0 评论 -
经典文章汇总[持续更新]
[001] 各大互联网公司架构演进之路汇总原创 2016-06-23 08:55:34 · 752 阅读 · 0 评论