hbase
bboonnee
这个作者很懒,什么都没留下…
展开
-
hbase中单调递增的rowkey造成的影响
自己的数据导入由于是md5排序后的数据,所以导入的时候遇到的一个问题就是:在一个集群中,一个导入数据的进程一动不动,所以的client都在等待一个region(就是一个节点),过了一会后,变成了下一个region查到了一些资料,不过这种做饭还不是很适合我,所以我只能考虑用另外的方法来处理用多线程同时读取统一个文件的不同位置,这样读入的rowkye就分散了。多线程的数据与自己regi原创 2012-02-23 11:28:44 · 3384 阅读 · 0 评论 -
几个hbase的问题
遇到很多问题,准备一个一个测试下1. 如果连续的读取一个大文件,比如1t,的内容到hbase中,用map reduce会不会比单机的java client写入快很多?考虑到在hbase写入的时候读取打文件的部分不是瓶颈,这个部分提升应该不明显2. hbase的配置项这么多,到底那几个是默认的值必须要修改的?需要统计一下3. hbase的原创 2012-02-22 10:08:58 · 936 阅读 · 0 评论 -
hbase shell help
hbase(main):001:0> helpHBASE SHELL COMMANDS: alter Alter column family schema; pass table name and a dictionary specifying new column family schema. Dictionaries are described原创 2012-02-28 17:43:25 · 2667 阅读 · 0 评论 -
hbase 关闭 ResultScanners
如果你忘记了关闭ResultScanners,会导致RegionServer出现问题。所以一定要把ResultScanner包含在try/catch 块中...Scan scan = new Scan();// set attrs...ResultScanner rs = htable.getScanner(scan);try { for (Result r = rs原创 2012-02-28 17:36:50 · 2500 阅读 · 0 评论 -
Windows下远程链接HBASE SHELL无法backspace和del的解决
在window下用secureCRT登录HBASE操作shell,发现无法使用del或backspace键删除,郁闷了很久后来发现用putty可以所以就对比了一下,发现是键盘设置的问题在secureCRT中终端-》仿真-》映射键-》其他映射 打勾Backspace发送deletedelete发送Backspace就可以了原创 2012-02-17 13:55:49 · 4482 阅读 · 2 评论 -
hbase时间同步造成region severs的问题
1. 访问hbase的web配置页面为host:60010host:600302. 配置了regionservers和分布式,但是启动后只有一个regionserver,有人说是时间同步的问题, hbase.master.maxclockskew 180000 Time difference of regi原创 2012-02-22 10:25:13 · 1587 阅读 · 0 评论 -
HBASE预先分配regions的实现
http://blog.csdn.net/yiboo/article/details/7284111前面写了HBASE通过预先创建regions,来平衡数据的负载,其中用到了hbase官方的example但是没有人告诉你怎么用自己试了试用法主要的就是如何分配rowkey start end之间的关系,因为我的数据的key是md5值,所以我使用了md5的两段分为300份publi原创 2012-02-23 18:11:19 · 7938 阅读 · 2 评论 -
HBASE通过预先创建regions,来平衡数据的负载
HBase中的表默认是创建一个region,所以大部分写入的时候,所有的客户端都会写到一个region中直到region达到设定值进行分裂split,然后通过集群进行分发。所以有一个很有用的方法来提高大数据写入过程的效率就是预先创建regions。public static boolean createTable(HBaseAdmin admin, HTableDescriptor t翻译 2012-02-22 17:14:58 · 4689 阅读 · 0 评论 -
HBase的概念和性能选项
在本文中的HBase术语:基于列:column-oriented行:row列组:column families列:column单元:cell理解HBase(一个开源的Google的BigTable实际应用)最大的困难是HBase的数据结构概念究竟是什么?首先HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基转载 2012-02-14 18:27:56 · 1235 阅读 · 0 评论 -
推荐HBase 官方文档
盛大游戏-数据仓库团队-颜开(译)http://www.yankay.com/wp-content/hbase/book.htm原创 2012-02-22 11:54:45 · 1076 阅读 · 0 评论 -
hbase在淘宝的应用和优化小结
hbase在淘宝的应用和优化小结 作者:邓明鉴(taobao.com) 2012.3.51 前言 hbase是从hadoop中分离出来的apache顶级开源项目。由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎。对于淘宝而言,随着市场规模的转载 2012-06-14 18:37:35 · 2224 阅读 · 0 评论