![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据量处理
hai19850514
这个作者很懒,什么都没留下…
展开
-
hadoop+zookeeper+hbase完全分布式集群配置整理
实验环境:centos5.6+jdk1.6.2+hadoop-0.20.2+zookeeper3.3.5+hbase0.90.6准备好三台机器,机器名 ip 作用master 192.168.16.130 namenodeslave1 192.168.16.131 datanodeslave2 192.168.16.132 da...原创 2013-04-07 23:16:42 · 188 阅读 · 0 评论 -
hadoop版本与支持的hbase版本对照表 .
以下内容来自下载的HBASE-0.94.7的book中( $HBASE_HOME/docs/book/configuration.html) HBase-0.92.xHBase-0.94.x HBase-0.96 Hadoop-0.20....原创 2013-05-31 10:27:25 · 325 阅读 · 0 评论 -
hadoop+hbase+hive+zookeeper集群版本升级配置整理
环境:centos5.6+jdk1.6.2+hadoop-1.1.2+zookeeper3.4.5+hbase0.94.8+hive0.10.0准备好三台机器,机器名 ip 作用namenode 192.168.16.133 namenode、jobTracker、HMaster、zookeeper、hivedatanode1 192....原创 2013-06-05 18:01:27 · 376 阅读 · 0 评论 -
hadoop+zookeeper+hbase集群配置整理
环境:centos5.6+jdk1.6.2+hadoop-1.1.2+zookeeper3.4.5+hbase0.94.8准备好三台机器,机器名 ip 作用namenode 192.168.16.133 namenode、jobTracker、HMaster、zookeeperdatanode1 192.168.16.134 ...原创 2013-06-05 18:02:14 · 103 阅读 · 0 评论 -
HIVE体系架构
架构图: 一、 service1、 hive有三种service,分别是cli,hiveserver和hwi。2、 cli是命令行工具,为默认服务,启动方式$HIVE_HOME/bin/hive 或 $HIVE_HOME/bin/hive --service cli。3、 hiverserver通过thrift对外提供服务,默认端口10000,启动方式为$...原创 2013-06-05 18:08:25 · 118 阅读 · 0 评论 -
hbase+zookeeper配置优化
zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:这个timeout决定了...原创 2013-06-20 12:47:28 · 149 阅读 · 0 评论 -
HBase性能优化方法总结
1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions,这样当数据写入HBase时,会按照region分区情况,在集群内做数据的负载均衡。1.2 ...原创 2013-06-20 13:37:17 · 123 阅读 · 0 评论 -
hive创建外部表映射hbase中已存在表问题
hbase中的建表脚本:create 'HisDiagnose',{ NAME => 'diagnoseFamily'}通过往hive中创建外部表来映射hbase中已经存在的表结构,从而可以通过Hive QL查询hbase表中的数据,从而使得hbase这种NOSQL数据库具备SQL的能力,脚本脚本为:CREATE EXTERNAL TABLE HisDiagnose(key strin...原创 2013-08-02 16:04:11 · 1518 阅读 · 0 评论