hbase
lykke2012
这个作者很懒,什么都没留下…
展开
-
hbase
hbase 理解 1.简介: HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群 2.HBase和RDBMS的关系 RDBMS(Relation DabaBase Management System-关系数据库):由关系模型构成的数据库就是关系数据库。关系数 ...2011-08-23 23:05:16 · 94 阅读 · 0 评论 -
常用的hbase shell
熟悉几个常用的hbase shell 命令:disable 'tableName' --disable表。注:修改表结构时,必须要先disable表。 命令:enable 'tableName' --使表可用 命令:drop 'tableName' --删除表 HBase基本命令 下面我们再看看看HBase的一些基本操作命令,我列出了几个常用的HBas...2012-02-03 16:27:56 · 56 阅读 · 0 评论 -
hive+hbase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase ...2012-02-03 16:48:55 · 164 阅读 · 0 评论 -
hbase 安装
hbase 安装 版本:hbase-0.20.6 1.操作系统 suse 11.4 2.hadoop版本 hadoop-0.20.2 3.环境 jdk1.6, server0 192.168.1.10 server1 192.168.1.11 server2 192.168.1.12 server3 192.168.1.13 ...2011-12-05 15:14:51 · 85 阅读 · 0 评论 -
hbase 使用经验
hbase 使用经验。 1、单条rowkey下虽然能支持百万列,但是建议不要这么做,因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题,一是查询时单行记录数据量过大,client超时;第二个问题是regionserver做compact的过程有可能被单条rowkey的数据塞满内存造成OOM 2、datanode的handler的数量不要默认值,太少,要在100左右,另外r...原创 2012-06-20 19:09:13 · 151 阅读 · 0 评论 -
Hbase几种数据入库(load)方式比较
1. 预先生成HFile入库 这个地址有详细的说明http://blog.csdn.net/dajuezhao/archive/2011/04/26/6365053.aspx 2. 通过MapReduce入库 /* MapReduce 读取hdfs上的文件,以HTable.put(put)的方式在map中完成数据写入,无reduce过程*/ import java.io.IOExc...2012-07-17 14:52:48 · 132 阅读 · 0 评论 -
hadoop metrics 各参数解释
hadoop metrics 各参数解释 研究使用hadoop的人 对hadoop中详细的计数器有所了解,但是很多人在想完全清楚所有metrics时 发愁找不到资料。而且在代码中查找时介绍也比较少。先罗列出所有。 dfs.datanode.blockChecksumOp_avg_time 块校验平均时间 dfs.datanode.blockChecksumOp_num_ops ...2012-07-17 18:59:24 · 251 阅读 · 0 评论