Hbase
fish_cool
擅长java并发设计与开发(包括多核开发)、java性能调优、java分布式架构与设计、工作流引擎算法、python;对erlang、ada、搜索引擎有浓厚的兴趣,曾从事过数据分析与挖掘(SAS)和hadoop平台相关(hive、sqoop、R、zookeeper、mahout、Hbase等)方面的研究与开发,现阶段负责公司的整个大数据平台的搭建(包括海量实时OLAP查询、离线计算平台、实时计算平台),并朝着各平台封装成产品的方向前进
展开
-
选型HBase初探
目前为了对海量数据进行存储管理(hive的优势比较适合数据都是干净的情况,进行相关的统计运算),所以在没有更好的方式下,试探性的使用了HBase,也算是对Hbase初探。 简单地说下使用下来的感受。 好处:数据存储管理简单、适合更新操作,不需要做额外的数据清洗步骤,能节省很多时间。 碰到的问题:就是结合Hive一起做统计计算比较麻烦,测试过几种方案,都不是特别理想,尤其是select * 和原创 2012-12-11 14:17:06 · 1195 阅读 · 11 评论 -
Hbase的使用压缩日志反应的问题
最近hbase的日志量提升到了几百MB,通过日志发现: 2013-12-24 11:05:08,307 INFO org.apache.hadoop.io.compress.CodecPool: Got brand-new decompressor 2013-12-24 11:05:09,283 INFO org.apache.hadoop.io.compress.CodecPool: Got原创 2013-12-24 11:42:32 · 4321 阅读 · 1 评论 -
执行HBase的MR程序出现的一个异常
最近在某台机器上面执行MR时,出现了以下这样的异常,信息如下: 2013-12-20 16:58:48,745 INFO org.apache.zookeeper.ZooKeeper: Client environment:user.dir=/data3/mapred/local/taskTracker/hadoop/jobcache/job_201311152318_24137/attempt原创 2013-12-20 18:57:33 · 4168 阅读 · 2 评论 -
hbase应用snappy的部署
因为业务需要所以对hbase的数据做整体的压缩处理。原创 2013-11-05 15:55:30 · 7214 阅读 · 15 评论 -
hbase测试压缩效果报告
测试环境: Linux master 2.6.18-348.12.1.el5 #1 SMP Wed Jul 10 05:28:41 EDT 2013 x86_64 x86_64 x86_64 GNU/Linux hadoop-1.0.3 hbase-0.94.2 hive-0.9.0 Oracle JRockit(R) (build R28.1.5-20-146757-1.6.0_29-原创 2013-11-20 11:04:53 · 8740 阅读 · 16 评论 -
hbase日常操作以及日常维护
一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS => '10', COMPRESSION =转载 2013-04-15 14:20:06 · 1477 阅读 · 0 评论 -
hbase使用中一个问题
最近hbase上线了,目前进入调整阶段,发现一个情况:就是当我在独立操作datanode节点时(因调整相关参数,需要单独启动datanode),如果 这时候有regionserver连到此节点进行相关的操作,会导致regoinserver这个进程也会退出。这里暂做个记录。 个人观点:hbase跟hadoop并不是结合很紧密。当我操作hadoop集群时,应该不会影响到hbase的集群,但目前出现原创 2013-04-09 13:43:02 · 789 阅读 · 2 评论 -
各种方式将数据导入到HBase体验
目前随着HBase的上线,需要将各种零散的数据源陆续导入到HBase中。 根据自己的使用下来的感受,总结导入方式有以下几种: 第一:命令行导入 第二:编写MR程序导入 第三:采用javaAPI的方式导入 第四:使用Sqoop方式导入 第一种很简单。不适合从已存在的数据中导入,就是兼容性不好。 第二种细分为三类:总体来说,数据都是放在HDFS上面。 第一类使用Tab原创 2013-03-20 10:44:03 · 1796 阅读 · 2 评论 -
编写MR运行在Hbase上面注意事项
最近很久没写blog了,主要精力在搭建和部署Hbase上面。 因为对Hbase了解不多,以下碰到的问题都是很基础问题: 1、运行MR程序时出现: 13/03/07 14:04:58 INFO mapred.JobClient: Task Id : attempt_201303031058_0325_m_000008_0, Status : FAILED java.lang.RuntimeE原创 2013-03-07 16:32:06 · 8403 阅读 · 20 评论 -
hbase的0.94.4版本一个问题
最近在使用过程中,发现了一个问题: 就是对某一个rowkey做delete操作后,马上重新插入一条相同的rowkey的值。然后使用get方式操作后无法显示新插入的记录。原创 2013-12-19 22:04:32 · 1389 阅读 · 1 评论