HBase
iteye_5062
这个作者很懒,什么都没留下…
展开
-
Windows下访问VM中HBase
资源所限,只能先在本机上模拟hadoop集群。(见文章:[url]http://blackwing.iteye.com/admin/blogs/1502476[/url])开动之前,需要启动hadoop,并且创建好一个hbase目录:[code="java"]hadoop fs -mkdir hbase[/code]这样就能在hadoop中开辟一个hbase存放数据的地方。...原创 2012-04-27 17:38:46 · 268 阅读 · 0 评论 -
HBase的start key和end key疑惑
转载请标明来源:http://blackwing.iteye.com/blog/1791848之前把一个region人工拆分成多个region,每个region的起始key是具体某个row,但后来发现,hbase是把byte[0]作为一个表的起始key。官方文档这样描述:http://hbase.apache.org/book.html#arch.catalog[quote]Not...原创 2013-02-05 15:57:56 · 1623 阅读 · 0 评论 -
HBase的coprocessor分拆HRegion
[quote]转载请注明出处,文章链接:http://blackwing.iteye.com/blog/1788647[/quote]之前通过修改TableInputFormatBase类实现了客户端分拆每个HRegion,从而实现一个region可以同时被多个map同时读取,原文:[url]http://blackwing.iteye.com/admin/blogs/176396...原创 2013-02-04 15:15:04 · 141 阅读 · 0 评论 -
分拆TableSplit 让多个mapper同时读取
默认情况下,一个region是一个tableSplit,对应一个mapper进行读取,但单mapper读取速度较慢,因此想着把默认一个table split分拆成多个split,这样hadoop就能通过多个mapper读取。由于HBase不能像hadoop一样通过以下参数调整split大小,而实现多个mapper读取[code="java"]mapred.min.split.size...原创 2013-01-06 18:13:20 · 235 阅读 · 0 评论 -
GET查询HBase无结果时 Result的size也不为空
用Get查询hbase某个row时,就算该row不存在,但还是返回Result,只是该Result是empty的。[code="java"]List batch= new ArrayList(); Get get1=new Get("1111111111".getBytes()); Get get2=new Get("2222222222".getBytes()); ...原创 2012-11-28 11:15:12 · 1425 阅读 · 0 评论 -
LoadIncrementalHFiles是copy而不是move的疑惑
转载请标明出处:http://blackwing.iteye.com/blog/1991901之前在另一篇文章里实现的自定义job生成HFile并使用LoadIncrementalHFiles 入库HBase :http://blackwing.iteye.com/blog/1991380但发现入库时,非常的慢,而且几次都失败了,明明官方教材说这个操作是move的:[code...原创 2013-12-19 10:57:40 · 644 阅读 · 0 评论 -
Hadoop生成HFile直接入库HBase心得
转载请标明出处:http://blackwing.iteye.com/blog/1991380hbase自带了ImportTsv类,可以直接把tsv格式(官方教材显示,是\t分割各个字段的文本格式)生成HFile,并且使用另外一个类org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles直接把HFile移动到hbase对应的hdfs...原创 2013-12-18 16:15:08 · 515 阅读 · 0 评论 -
Hadoop的Text类getBytes字节数据put到HBase后有多余字符串问题
转载请标明出处:http://blackwing.iteye.com/blog/1978501org.apache.hadoop.io.Text里面的getBytes方法有个小坑。先看现场:[code="java"]String s = "91223224-20131120-96413376-150"; Text t = new Text(); t.set(s)...原创 2013-11-21 15:53:25 · 191 阅读 · 0 评论 -
编译YCSB 解决Not a host:port pair问题
转载请标明出处:http://blackwing.iteye.com/blog/1943942这位xd的文章(http://blog.csdn.net/cxin917/article/details/9005088)讲述的办法能正确解决Not a host:port pair的问题,主要来说是hbase-binding.jar跟hbase、hadoop版本问题。但我在编译ycsb时...原创 2013-09-18 17:25:47 · 285 阅读 · 0 评论 -
HBase使用SNAPPY压缩遇到compression test fail问题解决
转载请标明出处:http://blackwing.iteye.com/blog/1943575之前为HBase增加SNAPPY压缩的一篇文章:http://blackwing.iteye.com/blog/1942037本以为这样hbase就能使用SNAPPY了,但发现RS的log不停报错:[code="java"]IOException: Compression algo...原创 2013-09-18 10:51:03 · 916 阅读 · 0 评论 -
HBase表增加snappy压缩
转载请标明来源:http://blackwing.iteye.com/blog/1942037此前使用的是LZO,近期想着试试snappy的实力,snappy的安装可以参考另外一篇文章:http://blackwing.iteye.com/blog/1940933HBase添加snappy压缩步骤如下:1. 验证snappy是否正常安装:找某个文件,对其进行压缩测试[c...原创 2013-09-13 17:54:48 · 664 阅读 · 0 评论 -
导出导入HBase数据库
系统上已经安装来Hadoop,并且hbase通过hadoop存储数据。1.把hbase中某个表第数据导出到hadoop中:[code="java"]>hbase org.apache.hadoop.hbase.mapreduce.Driver export table1 table1[/code]hbase中首先要有table1这个表才能导出成功。导出的表,在hadoop文件系统的...原创 2012-06-01 16:44:20 · 233 阅读 · 0 评论 -
删除Hbase的META中多余表项
由于操作HBase比较粗犷,有时直接在hadoop中删除hbase对应的表,导致.META.中还记录着表项,但实际存储空间中却没找到。这样就会导致HBase的log中总在报错,说找不到xxx表,而且log在飞快增长。办法是删除.META.中对应表项。原来,.META.和-ROOT-其实也是hbase的两个特殊的表,这就是说,我们可以scan、delete等对其进行操作。1....原创 2012-05-24 18:22:39 · 1262 阅读 · 0 评论 -
ROOT不在线的另外一种原因及解决办法
转载请声明出处:http://blackwing.iteye.com/blog/1914898近来hbase总是不稳定,运行一两天后,就会发现-ROOT-不在线,代码连接读表,会有一下报错:[code="java"]Unable to find region xxxx,,99999999999999 after 10 tries[/code]而rs打印出来的log则有以下错误:...原创 2013-07-29 14:28:49 · 118 阅读 · 0 评论 -
enable和disable表时出现表未disable/enable异常处理
转载请标明出处:http://blackwing.iteye.com/blog/1914841今天在为表增加LZO压缩,在enable表时,发现耗时很长都未结束,就ctrl+c退出hbase shell,再进入继续enable表,但此时出现如下错误:[code="java"]ERROR: org.apache.hadoop.hbase.TableNotDisabledException...原创 2013-07-29 11:42:31 · 1228 阅读 · 0 评论 -
解决直接读HFile时因表数据写入而导致文件目录变化问题
转载请标明出处:http://blackwing.iteye.com/admin/blogs/2188077数据量大的情况下,通过直接读取HFile来获得hbase表数据性能比通过HTable读取有优势,但当读取HFile时,table同时有数据写入,那么可能因为split、compact等原因导致某些HFile不存在,导致任务失败。如果通过hdfs的snapshot快照功能,对某...原创 2015-03-02 18:22:15 · 363 阅读 · 0 评论