hbase
宏轩
这个作者很懒,什么都没留下…
展开
-
01 HBase基本概念和hbase shell常用命令用法
本文转载自:http://archive.cnblogs.com/a/2178064/1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据转载 2015-05-22 00:55:09 · 552 阅读 · 0 评论 -
关于几种压缩算法以及hadoop和hbase中的压缩配置说明
Hadoop中常用的压缩算法有bzip2、gzip、lzo、snappy,其中lzo、snappy需要操作系统安装native库才可以支持下面这张表,是比较官方一点的统计,不同的场合用不同的压缩算法。bzip2和GZIP是比较消耗CPU的,压缩比最高,GZIP不能被分块并行的处理;Snappy和LZO差不多,稍微胜出一点,cpu消耗的比GZIP少。通常情况下,想在CPU和IO之间取转载 2015-06-02 00:41:40 · 836 阅读 · 0 评论 -
HBase表重命名
hbase shell> disable 'oldTableName'hbase shell> snapshot 'oldTableName', 'tableSnapshot'hbase shell> clone_snapshot 'tableSnapshot', 'newTableName'hbase shell> delete_snapshot 'tableSnapshot'hbas转载 2015-06-22 23:53:51 · 2189 阅读 · 0 评论 -
ZeroCopyLiteralByteString cannot access superclass
问题描述在HBase上运行MapReduce作业时,报如下异常:IllegalAccessError: class com.google.protobuf.HBaseZeroCopyByteString cannot access its superclass com.google.protobuf.LiteralByteString使用HBase环境如下:CDH5.0.1, HB转载 2015-04-23 15:08:07 · 2343 阅读 · 0 评论 -
hbase 租约超时及rpc超时出现的问题
随着数据量的增大,HIVE查询HBase的时候又出现了scan数据缓慢的问题,在HBase regionserver的log中出现了如下错误: [plain] view plaincopyorg.apache.hadoop.hbase.regionserver.LeaseException: lease '-88413693092487843转载 2015-05-22 01:14:56 · 3812 阅读 · 0 评论 -
Hbase配置项简介
Hbase配置项简介转自网络Hbase配置项(1)hbase.tmp.dir:本地文件系统的临时目录,默认是java.io.tmpdir/hbase?{user.name};hbase.rootdir:hbase持久化的目录,被所有regionserver共享,默认${hbase.tmp.dir}/hbase,一般设置为hdfs://namenode.example.org:900转载 2015-05-22 00:59:54 · 847 阅读 · 0 评论 -
HBase性能优化方法总结(4):读表操作
来自:http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section3.html本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容:读表操作相关的优化方法。转载 2015-05-22 00:58:49 · 553 阅读 · 0 评论 -
HBase性能优化方法总结(1):配置优化
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:转载 2015-05-22 00:56:03 · 1311 阅读 · 0 评论 -
HBase性能优化方法总结(3):写表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容:写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作,提高写数据的吞吐量,一个例子:[java] view plain转载 2015-05-22 00:58:04 · 553 阅读 · 0 评论 -
HBase性能优化方法总结(2):表的设计
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容:表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都转载 2015-05-22 00:56:46 · 547 阅读 · 0 评论 -
Apache HBase快照介绍
转自 http://www.importnew.com/4966.htmlCDH是Cloudera的完全开源分布式Apache Hadoop及相关项目(包括Apache HBase)。CDH的当前版本(4.2)引入的一个HBase新特性最近加入到了主干中,允许用户对指定表进行快照。在CDH4.2之前,唯一能够备份或克隆表的方法就是使用复制/导出表或者在关闭表之后拷贝HD转载 2015-06-15 00:12:44 · 853 阅读 · 0 评论