HBase
文章平均质量分 82
jiaaq2008
这个作者很懒,什么都没留下…
展开
-
HBase-0.95.1源码分析之split
split操作执行的是将HBase中较大的Region分为两个。因为split比较耗时,因此split是在独立的线程中完成的,相关类是CompactSplitThread。首先,CompactSplitThread中分区的方法主要是以下两个:CompactSplitThread.requestSplit(HRegion):检测是否需要分区,如果需要分区则调用requestS...原创 2014-05-06 11:58:31 · 86 阅读 · 0 评论 -
分布式数据库 HBase入门指导
HBase简介HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapRed...原创 2014-04-23 14:23:54 · 87 阅读 · 0 评论 -
HBase工程师线上工作经验总结----HBase常见问题及分析
阅读本文可以带着下面问题:1.HBase遇到问题,可以从几方面解决问题?2.HBase个别请求为什么很慢?你认为是什么原因?3.客户端读写请求为什么大量出错?该从哪方面来分析?4.大量服务端exception,一般原因是什么?5.系统越来越慢的原因是什么?6.Hbase数据写进去,为什么会没有了,可能的原因是什么?7. regionserver发生abort,遇到最多是什么情况?8.从哪些方面可...原创 2014-04-23 13:54:56 · 88 阅读 · 0 评论 -
HBase行数统计
分布式数据库HBase本身不支持SQL语法,要统计表的行数,只能通过其他的方式来实现。HBase的shell脚本提供了count命令,但该命令只是简单地scan全表然后将行数累加,效率很低只能用于测试或者统计小表了。另一解决方案是使用MapReduce,HBase自身提供了org.apache.hadoop.hbase.mapreduce.RowCounter类,可以方便地在命令行调用进行统计,...原创 2014-04-15 17:21:15 · 354 阅读 · 0 评论 -
hbase 安装
1、通过命令tar xvf hbase-0.90.4.tar.gz解压到当前文件夹2、 修改HBase的配置文件:编辑所有机器上的hbase安装目录conf目录下的hbase-site.xml、hbase-default.xml、hbase-env.sh几个文件,当然可以先配置主机的然后通过scp命令拷贝到虚拟机上,但是可能要做相应的路径修改。a. Hbase-site.xml:编辑这个文件要注意...原创 2014-04-13 01:34:31 · 55 阅读 · 0 评论 -
Hbase的regionServer无法启动报ClockOutOfSyncException解决方法
2014-04-11 02:41:20,142 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup because clock is out of syncorg.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hado...2014-04-13 00:59:04 · 169 阅读 · 0 评论 -
hbase配置、运行错误总结
一、执行$ hbase hbck 命令时,出现以下提示:Invalid maximum heap size: -Xmx4096mThe specified size exceeds the maximum representable size.Error: Could not create the Java Virtual Machine.Error: A fatal exceptio...原创 2014-04-12 00:08:13 · 178 阅读 · 0 评论 -
HBase 和 MongoDB在设计上的区别
总体来说两者的设计思路差不多,主要就是通过划区间去分布数据,后台进程进行数据分裂两者的区别主要在于: 1、HBase依赖于HDFS;MongoDB直接存储在本地磁盘中 2、HBase按照列族将数据存储在不同的文件中;MongoDB不分列,整个文档都存储在一个(或者说一组)文件中,通过一个有一个通用的.ns文件保存名称空间(Column-based和Document-Based之间的区...原创 2014-07-02 14:26:39 · 94 阅读 · 0 评论 -
hive与hbase的十大区别与联系
共同点:1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别:2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库,如果是全表扫描,就用Hive+Hadoop,如果是索引访问,就用HBase+Hadoop 。4.Hive quer...原创 2014-06-12 10:35:05 · 124 阅读 · 0 评论 -
【转】Hbase原理、基本概念、基本架构
目录(?)[-]概述Hbase数据模型Hbase物理模型HBase架构及基本组件Hbase使用场景Hbase与HDFS对比参考文档 概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员...原创 2014-05-06 15:59:54 · 97 阅读 · 0 评论 -
HBase Region Split过程详解
1、检查是否需要进行Region Split的时机:每次flush或者compact之后,regionserver都会去检查是否满足了Split的条件。2、Region Split的过程如下: (1)RegionServer在Zookeeper上创建一个/hbase/region-in-transition/region-name结点,并设置结点的内容为SPLITTING ...原创 2014-05-06 15:56:30 · 243 阅读 · 0 评论 -
[转载]HBase Region 分配 探索 分区
原文地址:HBase Region 分配 探索 分区作者:闪出光芒 HBase 的 cluster 中, Region 是如何分配这个问题,困扰了我很久,经过代码分析和调试,得出了一些见解,缺点和错误请大家批评指正。 参与 Region 分配的重要对象在 Region 分配过程中,起着重要作用有如下一些对象。 HMaster— 是 HBase 中的 Master...原创 2014-05-06 15:53:28 · 118 阅读 · 0 评论 -
Hbase写入量大导致region过大无法split问题
最近在线上往hbase导数据,因为hbase写入能力比较强,没有太在意写的问题。让业务方进行历史数据的导入操作,中间发现一个问题,写入速度太快,并且业务数据集中到其中一个region,这个region无法split掉,处于不可用状态。这里描述一整个过程—— 事情的起因:业务方按照userid和商品id作为rowkey前缀,并没有进行hash散列。我当时咨询过业务方...原创 2014-05-06 15:33:28 · 168 阅读 · 0 评论 -
hadoop、hbase、hive版本对应关系
hadoop与HBase版本对应关系:Hbase Hadoop 0.92.0 1.0.00.92.1 1.0.00.92.2 1.0.30.94.0 1.0.20.94.1 1.0.30.94.2 1.0.30.94.3 1.0.40.94.4 1.0.40.94.5 1.0.40.94.9 1.2.00....原创 2014-04-24 13:46:53 · 1459 阅读 · 0 评论