Hadoop+hbase+hive环境搭建

Hadoop是一个开发和运行处理大规模数据的平台，实现在多台计算机组成的集群中对海量数据进行分布式计算。

hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储，mapreduce提供了对数据的计算。

hadoop处理海量数据，需要hbase做数据库，hbase是面向列的分布式数据库，使用集群环境的内存做处理，但是不支持sql语句，所以操作和计算数据非常不方便，于是整合hive，hive支持sql语句，让hive支撑在hbase数据库层面的查询。

下面介绍hadoop+hbase+hive的环境部署：

一、Hadoop框架

hadoop使用主/从（master/slave）架构，主要由NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。

其中，NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。

NameNode：HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。

DataNode：集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时，由NameNode告诉客户端去哪个DataNode进行具体的读写操作。

secondary NameNode：用来监控HDFS状态的辅助后台程序，如果NameNode发生问题，可以使用Secondary NameNode作为备用的NameNode。

JobTracker：用来连接应用程序与Hadoop，用户应用提交到集群后，由JobTracker决定哪个文件处理哪个task执行，一旦某个task失败，JobTracker会自动开启这个task。

TaskTracker：负责存储数据的DataNode相结合，位于从节点，负责各自的task。

 

1）准备工作：

4台独立的主机

一台为master，其余3台为slave。

操作系统均为CentOS 5.8，jdk均安装同个版本同个目录，配置好/etc/profile。

为避免权限问题导致无法使用，以下操作均使用了root账号操作。如果是其他账号操作，要确保同个账号对每台主机相同目录的操作权限一致。

2)做好master到slave的免登录：

在master上依次操作：

ssh-keygen -t rsa
cd ~/.ssh
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys
然后将 id_rsa.pub authorized_keys id_rsa，拷到其它机器上，注意文件的权限与目录的权限：
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh
scp id_rsa.pub authorized_keys id_rsa root@XXX:~/.ssh

3）每台机器配置hosts：

XXX.XXx.XXx.XX  master
XXX.XXx.XXx.XX  slave2
XXX.XXx.XXx.XX   slave1
XXX.XXx.XXx.XX slave3

4）每台机器配置对应的hostname：

如master节点，打开/etc/sysconfig/network： 

NETWORKING=yes
HOSTNAME=master

其他从节点的hostname分布配置成对应的slave1、slave2、slave3

5）创建相关数据目录：

如hadoop存放目录为/home/hadoop2,将hadoop安装到该目录下。具体配置如下： 

• 在每个节点上创建程序存储目录/home/hadoop2，用来存放Hadoop程序文件
• 在每个节点上创建数据存储目录/home/hadoop2/hdfs，用来存放集群数据
• 在主节点上创建目录/home/hadoop2/hdfs/name，用来存放文件系统元数据
• 在每个从节点上创建目录/home/hadoop2/hdfs/data，用来存放真正的数据
• 所有节点上的日志目录为/home/hadoop2/logs
• 所有节点上的临时目录为/home/hadoop2/tmp

6）每台机器配置环境变量：

export HADOOP_HOME=/home/hadoop2/hadoop-2.5.0-cdh5.3.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_LOG_DIR=$HADOOP_HOME/logs
export YARN_LOG_DIR=$HADOOP_LOG_DIR
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

7）hadoop配置文件：

配置文件所在目录为/home/hadoop2/hadoop-2.5.0-cdh5.3.2/etc/hadoop

a、配置core-site.xml

b、配置hdfs-site.xml

c、配置yarn-site.xml

d、配置mapred-site.xml

e、配置hadoop-env.sh、yarn-env.sh、mapred-env.sh脚本，修改每个脚本的JAVA_HOME为当前系统的JAVA_HOME

f、修改slaves文件

8）同步程序文件到从节点：

在master将上面配好的文件复制到各个节点对应的目录：

scp -r /home/hadoop2 root@slave1:/home/hadoop2/
scp -r /home/hadoop2 root@slave2:/home/hadoop2/
scp -r /home/hadoop2 root@slave3:/home/hadoop2/

9）确保每台机器的防火墙关闭：

service iptables stop

10）格式化文件系统：

hadoop namenode -format

hadoop datanode -format

11)启动hdfs集群：

start-dfs.sh

可以访问http://master:50070，查看hdfs集群状态

12）启动yarn集群：

start-yarn.sh

可以访问http://master:8099，查看yarn集群状态

也可以直接使用start-all.sh脚本启动，该脚本包含了hdfs和yarn两个集群的启动。

 

二、Hbase

在master上操作，将hbase安装到/home/hadoop2目录下。

1）修改配置文件：

 配置文件所在目录为/home/hadoop2/hbase-1.0.0-cdh5.4.8/conf

a、配置hbase-site.xml

b、配置hbase-env.sh脚本，修改脚本的JAVA_HOME为当前系统的JAVA_HOME

 c、配置regionservers

2）同步程序文件到从节点：

在master将上面配好的文件复制到各个节点对应的目录：

scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave1:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave2:/home/hadoop2/hbase-1.0.0-cdh5.4.8/
scp -r /home/hadoop2/hbase-1.0.0-cdh5.4.8 root@slave3:/home/hadoop2/hbase-1.0.0-cdh5.4.8/

3）每台机器配置环境变量：

export HBASE_HOME=/home/hadoop2/hbase-1.0.0-cdh5.4.8
export PATH=$PATH:$HBASE_HOME/bin

4）启动hbase集群：

start-hbase.sh

 

三、Hive

在master上操作，将hive安装到/home/hadoop2目录下。

1）修改配置文件：

 配置文件所在目录为/home/hadoop2/hive-0.13.1-cdh5.3.2/conf

a、配置hive-site.xml

b、配置hive-env.sh脚本

2）配置环境变量：

export HIVE_HOME=/oracle/hadoop2/hive-0.13.1-cdh5.3.2
export CLASSPATH=$CLASSPATH:$HIVE_HOME/lib
export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

3）启动hive：

进入/home/hadoop2/hive-0.13.1-cdh5.3.2/bin

nohup hiveserver2 &

以上，一个可以运行的环境就安装好了，可以在hive和hbase中创建自己需要的数据。