hadoop 2.2.0 + hbase 0.96.2 +hive 0.13.1 安装

安装前应先安装jdk此处就不再重复了
操作系统 CentOS release 6.3 64位 最好使用更高的版本
hadoop 2.2.0安装
第一步:配置ssh免密码登录
可以查看这篇文章http://xinruibaobao.iteye.com/blog/2154632

第二步:配置hadoop环境变量
HADOOP_HOME hadoop的安装目录
HADOOP_CONF_DIR 配置文件所在目录

第三步:配置core-site.xml文件
设置fs.default.name hdfs://host:9000 配置hdfs访问目录 namenode所在机器
设置hadoop.tmp.dir 本地目录 临时文件存放目录

第四步:配置hdfs-site.xml文件
dfs.replication 奇数 文件备份数量
dfs.nameode.name.dir namenode文件目录
dfs.datanode.data.dir datanode文件目录
dfs.permissions false 是否需要权限

第五步:配置 mapres-site.xml文件
mapred.job.tracker host:8021 jobtracker访问地址 namenode所在机器
mapreduce.cluster.tmp.dir value为空final true
mapreduce.cluster.local.dir value为空final true
mapreduce.framework.name yarn

第六步:配置yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address host:8032 namenode所在机器
yarn.resourcemanager.scheduler.address host:8030 namenode所在机器
yarn.resourcemanager.resource-tracker.address host:8031 namenode所在机器
yarn.resourcemanager.admin.address host:8033 namenode所在机器
yarn.resourcemanager.webapp.address host:8088 namenode所在机器

第七步:配置slaves
集群中的所有slave机器地址

第八步:将程序分发到所有机器上

第九步:每台机器上格式化namenode

第十步:启动start-all.sh

第十一步:执行jps,查看java进程

hadoop安装完成.

hbase0.96.2安装
由于免密码登录已经配置了所以直接配置hbase配置文件，此次使用hbase自带的zookeeper操作

第一步:编辑hbase-env.sh HBASE_MANAGES_ZK=true 使用hbase自带的zookeeper
export JAVA_HOME=jdk安装目录

第二步:编辑hbase-site.xml
设置hbase.root.dir属性 hdfs://host:9000/hbase 此路径为hadoop路径
设置hbase.cluster.distributed属性 设置hbase分布式
设置hbase.master属性 host:60000
设置hbase.tmp.dir属性 /home/hadoop/hbasetmp hbase的临时文件夹
设置hbase.zookeeper.quorum zookeeper所在的机器的host以逗号分隔

第三步:配置regionservers文件 所有regionserver的host

第四步:分发到各个节点

第五步:先启动hadoop再启动hbase

关闭防火墙后，在win上访问Hbase的60010端口

hive0.13安装
第一步:配置环境变量 HIVE_HOME hive的安装路径
PATH中配置hive的conf目录
CLASSPATH 配置hive的lib目录
第二步:配置hive-env.sh HADOOP_HOME hadoop安装目录

第三步:配置hive-site.xml
mysql 配置 javax.jdo.option.ConnectionURL jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
配置 javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
配置 javax.jdo.option.ConnectionUserName
数据库连接的用户名
配置javax.jdo.option.ConnectionPassword
数据库连接的密码
配置 hive.metastore.warehouse.dir
hdfs://server18:9000/hive/warehouse
配置 hive.exec.scratchdir
hdfs://server18:9000/tmp
配置 hive.querylog.location
/home/hadoop/tmp/hive/logs
hive.server2.long.polling.timeout
将l去掉
hive.server2.thrift.bind.host
配置jdbc要访问的地址
hbase.zookeeper.quorum
配置zookeeper的host
hive.aux.jars.path
<value>file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-hbase-handler-0.13.1.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/protobuf-java-2.5.0.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-client-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-common-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-protocol-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-server-0.96.2-hadoop2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/zookeeper-3.4.5.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/guava-11.0.2.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/htrace-core-2.04.jar,file:home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-contrib-0.13.1.jar</value>