![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hbase
文章平均质量分 73
blackproof
这个作者很懒,什么都没留下…
展开
-
hbase 命令入门
转:http://blog.csdn.net/hongbinchen/article/details/6289279 1. 创建表 create 'student','name','address' 新建student表,该表有两列 名称和地址,名称只有一个,address可以有多个,create 'dirktest', {NAME => 'cf'},{SPLIT...原创 2013-03-05 14:46:24 · 70 阅读 · 0 评论 -
HBase笔记一 数据结构
HMaster 分配region到各个HRegionServer中一个共享的HlogHRegionServerHRegion Server将每个table的CF 存储为Store StoreStore为表的存储对象,包含多个StoreFile StoreFileStoreFile为Store对象的操作单位,包含多个HFile...原创 2013-06-23 10:49:13 · 86 阅读 · 0 评论 -
HBASE笔记二 Get和Put
Get 取数据过程 load and cached(只有第一次访问此rowkey)访问(-Root-) 获取zookeeper的host 访问(-META-)获得regionServer,(-META-包含每个rowkey所在region srver)有缓存时使用StoreFile读取数据 Put 存储数据...2013-06-23 11:09:27 · 83 阅读 · 0 评论 -
hbase 笔记三 配置优化
转载:http://database.51cto.com/art/201107/274661_1.htm 配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移...原创 2013-06-28 22:41:32 · 58 阅读 · 0 评论 -
HBase 物理模型 第一节
做ETL,设计HBase有段时间了,虽然还是很不成熟,但是有点小小经验,做个笔记 HBase暂不谈他负载均衡,容灾性能这堆,只说他在应用上的一些小小经验作为第一节 先谈谈rowkey cf cq的设计keyvalue的结构是 -------------------------Key-------------------------...2013-07-01 00:54:46 · 64 阅读 · 0 评论 -
HBase 笔记四 预先设置regions
来源文档:http://hbase.apache.org/book.html#precreate.regions http://hbase.apache.org/book.html#rowkey.regionsplits 以上是hbase文档,详细学习就rtfd吧 这里给出了文档中预先设置regions的代码,项目中也用的是这种方法,解决...原创 2013-07-01 15:48:31 · 112 阅读 · 0 评论 -
HBase get源码解析
客户端获得RPC链接 递归查找对应rowkey的地址 递归:table - .METE. - ROOT HConnectionManager - locateRegionInMeta在metatable中查找region地址: metaLocation = locateRegion(parentTable,metaKey); ...2014-01-21 23:39:14 · 156 阅读 · 0 评论 -
hbase 编译
hbase编译报错: 编译中出现一个错误:找不到autoreconf (视机器环境而定),定位到文件中位置: <target name="create-native-configure"> <exec executable="autoreconf" dir="${na...原创 2014-06-06 20:02:12 · 71 阅读 · 0 评论 -
hbase zookeeper独立搭建
一、zk单独搭建 1.修改配置文件:conf/zoo.cfgtickTime=2000 dataDir=/home/hadoop/data/zookeeper clientPort=2181 initLimit=5 syncLimit=2 server.1=slave-01:2888:3888 server.2=slave-02:2888:...原创 2014-02-27 21:33:27 · 97 阅读 · 0 评论 -
hbase rpc
发一张hbase rpc的UML图2014-03-10 23:03:52 · 68 阅读 · 0 评论 -
hbase compact和split策略
---compact split笔记 compact策略:在启动region之后,memflush之后,用户compact调用compact使用策略类needsCompaction方法,hfile数量大于hbase.hstore.compaction.min 和 hbase.hstore.compactionThreshold的最大值数(默认值为3) major com...原创 2015-02-12 17:41:58 · 295 阅读 · 0 评论 -
hbase rs启动的内存要求
hbase rs启动的内存要求 1-hbase.regionserver.global.memstore.upperLimit-hfile.block.cache.size<=(HBASE_CLUSTER_MINIMUM_MEMORY_THRESHOLD = 0.2f)也就是memstore和blockcache要小于等于heap的80%private static voi...原创 2015-02-27 16:46:34 · 124 阅读 · 0 评论 -
hbase定时memflush PeriodicMemstoreFlusher
PeriodicMemstoreFlusher类 定时判断是否触发memflush,判断间隔hbase.server.thread.wakefrequency 默认10S @Override protected void chore() { for (HRegion r : this.server.onlineRegions.values()) { ...2015-03-13 16:01:53 · 84 阅读 · 0 评论 -
hadoop 排序优化
转:http://blog.csdn.net/wf1982/article/details/7369324 hive 全排序优化全排序Hive的排序关键字是SORT BY,它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序。考虑以下表定义:CREATE TABLE if not exists t_order( id...原创 2014-04-08 23:20:44 · 72 阅读 · 0 评论 -
hadoop和hbase lzo压缩
配置hadoop lzo 一、下载、解压并编译lzo包1 [wyp@master ~]$ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 2 [wyp@master ~]$ tar -zxvf lzo-2.06.tar.gz 3 [wyp@master ~]$ cd lzo-2....原创 2015-03-25 23:04:26 · 99 阅读 · 0 评论 -
hbase 配置优化
hbase的优化的一点经验,一直没做这个笔记,是因为hbase自身也有设计缺陷,所以有些配置不能说优化,只能说因为hbase自身缺陷可以将就着用,不说废话了,以下就是优化的一点笔记 hbase配置修改:(split是因为hfile过多,进行split,split之后进行compact 可以可能要有人喷了,hfile多了应该compact才对啦。贴出0.98.1的代码,大致逻辑...原创 2015-06-06 14:00:30 · 119 阅读 · 0 评论 -
hbase Number of empty REGIONINFO_QUALIFIER rows in hbase:meta: 1
机房断电 hbase产生漏洞,用http://blackproof.iteye.com/blog/2052898这个帖子,可以删除多余的meta上的region 在hbase hbck报错:ERROR: Empty REGIONINFO_QUALIFIER found in hbase:meta 需要用hbase hbck -details才能显示有问题的rowER...原创 2015-08-06 13:49:13 · 240 阅读 · 0 评论 -
hbase hbck流程
HBaseFsck类的hbase hbck流程;hbck是一个很重的管理工具,他会访问所有rs,扫描整个meta表,以及读取所有table region里的regioninfo,所以不要频繁使用hbck,会给hbase带来压力 /** * This repair method requires the cluster to be online since it conta...原创 2015-12-21 16:23:24 · 447 阅读 · 0 评论 -
hbase 报java.lang.IllegalAccessError: com/google/protobuf/HBaseZeroCopyByteString
问题描述 在HBase上运行MapReduce作业时,报如下异常:IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString 使用HBase环境如下...原创 2014-12-10 21:41:11 · 129 阅读 · 0 评论 -
hbase 命令入门
address可以有多个,create 'dirktest', {NAME => 'cf'},{SPLITS => ['1','2','3']} 2.插入一条记录,只能插入某列 put 'student','1','name','tom' 向student有中插入记录,记录的row值为1,列name的值为tom 3. 根据row值 查询一条记录 get 'student','1' 4. 根据row值更新name值 (系统会原创 2013-03-05 14:46:24 · 58 阅读 · 0 评论 -
HBase笔记一 数据结构
多个StoreFile StoreFileStoreFile为Store对象的操作单位,包含多个HFile HFileHFile为实际存储数据的对象,包含多个Block BlockBlock 64k,Hbase存储的最小单位 HDFSBlock存储在HDFS上,每个Hadoop-block是64M原创 2013-06-23 10:49:13 · 68 阅读 · 0 评论 -
HBASE笔记二 Get和Put
rowkey所在region srver)有缓存时使用StoreFile读取数据 Put 存储数据WAL包含Sequence File,HLogKey实例数据为Sequential number(可让数据Put有序化)和实际数据MemStore当MemStore满(由hbase.hregion.menstore.flush.size配置,默认64M)会起个线程,将数据转移到disk上(hdfs)HFile hdf2013-06-23 11:09:27 · 135 阅读 · 0 评论 -
hbase 笔记三 配置优化
原创 2013-06-28 22:41:32 · 72 阅读 · 0 评论 -
HBase 物理模型 第一节
2013-07-01 00:54:46 · 90 阅读 · 0 评论 -
HBase 笔记四 预先设置regions
吧 这里给出了文档中预先设置regions的代码,项目中也用的是这种方法,解决入大数据到hbase都阻塞在一台机子的一个region上: public static boolean createTable(HBaseAdmin admin, HTableDescriptor table, byte[][] splits)throws IOException { try { admin.createTable( table, splits ); return tr原创 2013-07-01 15:48:31 · 121 阅读 · 0 评论 -
HBase custom Filter
er,按照cq比较 hbase还有一堆WritableByteArrayComparable,可以满足各种比较比如RegexStringComparator可以使用正则 但是在实际业务中,因为需求对数据要求是多样,对维度的,且数据是冗余,残缺,不可靠,不能枚举的。所以自定义的Filter还是有用的,而且选择正确的方法继承,查询效率也可以很高 自定义filter继承的接口Filter,或是FilterBase以下是重写的方法:filterRowKey根据RK决定行是2013-08-14 18:01:11 · 190 阅读 · 0 评论 -
Hbase ScannerTimeoutException 报错
ER_LEASE_PERIOD_KEY, 120000) 2.在$HBASE_HOME/conf/hbase-site.xml中添加<property><name>hbase.regionserver.lease.period</name><value>180000</value></property>原创 2013-09-26 14:27:34 · 93 阅读 · 0 评论 -
HBase rowkey小记
原创 2013-09-26 17:25:27 · 85 阅读 · 0 评论 -
HBase get源码解析
metaLocation = locateRegion(parentTable,metaKey); 发送查询请求到客户端 服务端一、实例化HRegion获得Get请求,HRegionServer public Result get(byte[] regionName,Get get){HRegion region = getRegion(regionName);//1return region.get(get,getLockFromId(get.getLoc2014-01-21 23:39:14 · 219 阅读 · 0 评论 -
hbase zookeeper独立搭建
88 server.2=slave-02:2888:3888 server.3=slave-03:2888:3888 2.生成myid文件 在slave-01中echo "1" > /home/hadoop/data/zookeeper/myid 在slave-02中echo "2" > /home/hadoop/data/zookeeper/myid 在slave-03中echo &原创 2014-02-27 21:33:27 · 211 阅读 · 0 评论 -
hbase 配置优化
op-The-World" GC时,会停止一切工作,这样与Zookeeper保持的心跳,就会停止。2)Zookeeper在没有收到注册节点的心跳时,就会删除对应rs对应节点。3)HMaster的ServerManager会发现这个RegionServer出现了问题,然后交由ServerShutdownHandler处理。4)HMaster的SplitLogManager和RegionServer的SplitLogWorker组成Master-Slave结构,对HMaster认定De原创 2014-02-28 20:53:48 · 163 阅读 · 0 评论 -
hbase源码分析
pact2.1. Compact主要来源来自四个方面:1、Memstoreflush时;2、HRegionServer定期做Compaction Checker时;3、HBaseAdmin客户端发起的请求;4、CompactTool发起。1) MemstoreFlush在flushRegion方法中有相关处理,整个方法主要逻辑:A 对一个flush请求,判断不是META表且文件很多,则1) 如果该请求等待了最长时间,则打印日志(Waited -- ms on a comp原创 2014-03-02 23:43:06 · 569 阅读 · 0 评论 -
hbase rpc
2014-03-10 23:03:52 · 78 阅读 · 0 评论 -
HMaster启动源码分析
原创 2014-03-21 21:37:17 · 409 阅读 · 0 评论 -
hbase region split 源码分析
base region split和compact的了,日志有split时间太长;文件找不到;split的时候response too slow等等,所以先看看hbase region split源码,希望对以后能有帮助 HBase region split源码分析一、流程概述1.HBaseAdmin 发起 hbase split2.HRegionServer 确定分割点 region split point3.CompactSplitThread和SplitRequest 进行re原创 2014-03-26 23:21:18 · 599 阅读 · 0 评论 -
HBase snappy部署 转
体的压缩处理。 首先需要在hadoop集群里安装snappy成功。以下介绍如何在hadoop中部署snappy第一步骤:下载snappy网页地址:http://code.google.com/p/snappy/downloads/detail?name=snappy-1.1.1.tar.gz&can=2&q=在linux下面可以直接执行wget http://snappy.googlecode.com/files/snappy-1.1.1.tar.原创 2014-03-31 21:09:37 · 141 阅读 · 0 评论 -
hbase coprocessor入门使用 转
原创 2014-04-02 17:29:49 · 113 阅读 · 0 评论 -
hbase coprocessor 官网介绍
Andrew Purtell(The original version of the blog was posted at http://hbaseblog.com/2010/11/30/hbase-coprocessors/ in late 2010, however the site is no longer available. Since we decided to move all blog posts to the official Apache blog, here I just reco原创 2014-04-02 22:41:53 · 602 阅读 · 0 评论 -
hadoop 排序优化
原创 2014-04-08 23:20:44 · 93 阅读 · 0 评论 -
hbase meta表修复
ionserver(根据meta表,将meta表上的region分给regionservere)hbase hbck -fixAssignments meta表修复二 当出现漏洞hbase hbck -fixHdfsHoles (新建一个region文件夹)hbase hbck -fixMeta (根据regioninfo生成meta表)hbase hbck -fixAssignments (分配region到regionserver上)meta表修原创 2014-04-22 22:42:43 · 807 阅读 · 0 评论