HADOOP+ZOOKEEPER+HBASE+HIVE

 

1.配置yum源

Xftp 10.72.39.160  /etc/yum.repo.d/RHEL.repo

目的机器上：

cd /etc/yum.repos.d/

mkdir bak

mv CentOS-*.repo bak

yum clean all

yum makecache

yum list

 

2.编译64位库

yum install gcc-c++-y

yum installncurses-devel -y

yum install cmake -y

yum installzlib-devel -y

 

解压tar-zvxf hadoop-2.7.2.tar.gz

4.安装hadoop准备

在安装Hadoop之前，所有集群节点均需对操作系统进行以下配置：

4.1)去掉操作系统ulimit -n 限制

（1）修改/etc/security/limits.conf ，在最后增加如下内容：

* soft nofile 102400

* hard nofile 409600

（2）修改/etc/pam.d/login，在最后添加如下内容：

session required/lib/security/pam_limits.so

（3）重启系统使得配置生效

4.2)关闭防火墙

（1）重启后生效

关闭：chkconfig iptables off

（2）即时生效，重启后失效

关闭：serviceiptables stop

4.3)配置hostname，设置主机名

vi/etc/sysconfig/network

NETWORKING=yes

HOSTNAME=master

4.4).配置host, 设置ip和主机名的映射

vi /etc/hosts

10.72.39.55   master

10.72.39.58   slave01

10.72.39.62   slave02

10.72.39.67   slave03

 

4.5)查看系统的JDK版本

rpm –qa | grepjdk  若是1.8则不用管，若不是1.8则卸载系统jdk

yum –y remove 系统JDK版本

         安装jdk-8u66-linux-x64.rpm

         cd/usr/local

         chmod+x jdk-8u66-linux-x64.rpm

         rpm–ivh jdk-8u66-linux-x64.rpm

修改vim~/.bash_profile  环境变量

将JAVA_HOME添加到PATH目录中，如下：

JAVA_HOME=/usr/java/jdk1.8.0_66

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

 

export PATH

 

4.6) 配置ssh无密码连接

SSH无密码登录节点

这个操作是要让 Master 节点可以无密码 SSH 登陆到各个 Slave 节点上。

首先生成 Master 节点的公匙，在 Master 节点的终端中执行：

cd~/.ssh

rm./id_rsa*

ssh-keygen–t rsa  

 (2) 让 Master 节点需能无密码 SSH 本机，在 Master 节点上执行：

cat ./id_rsa.pub>> ./authorized_keys

 

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到 Slave 节点：

scp~/.ssh/id_rsa.pub root@Slave:/root/

 

接着在 Slave节点上，将ssh 公匙加入授权：

cat ~/id_rsa.pub >>~/.ssh/authorized_keys

rm~/id_rsa.pub

如果有其他 Slave 节点，也要执行将 Master 公匙传输到 Slave 节点、在 Slave 节点上加入授权这两步。

这样，在 Master 节点上就可以无密码 SSH 到各个 Slave 节点了。

最后测试 ssh slave01

 

5. Hadoop安装

在主节点dmdb1配置

5.1)配置文件 有的要创建目录，根据配置文件而定。

拷贝/hadoop+hbase集群/home/hadoop-2.7.2/etc/hadoop中hadoop-env.sh,core-site.xml,hdfs- site.xml,mapred-site.xml, yarn-site.xml, yarn-env.sh，slaves到dmdb1相同目录，覆盖原文件。

5.2) 拷贝配置好的hadoop到slave节点

scp –r /opt/hadoop-2.7.2slave01:/opt

scp –r /opt/hadoop-2.7.2slave02:/opt

scp –r /opt/hadoop-2.7.2slave03:/opt

 

6.配置时间同步

Includefile上面还掉了两句：server127.127.1.0

fudge127.127.1.0stratum10

 

6.2) Ntp服务器master上以守护进程启动ntpd

service ntpd start

注：ntpd启动后，客户机要等几分钟再与其进行时间同步，否则会提示“no server suitable for synchronizationfound”错误。

6.3)配置时间同步客户机slave01,slave02,slave03

vi/var/spool/cron/root

添加一行，客户机每小时跟ntp服务器进行时间同步：

* */1 * * * /usr/sbin/ntpdate master

备注：如果客户机没有ntpdate，可以下载ntpdate.tar.gz到/usr/sbin/目录，然后解压

最后检查4台机器时间是否一直。

 

 

7.安装zookeeper

拷贝/hadoop+hbase集群/opt/zookeeper-3.4.8/conf目录下面的zoo.cfg到master相同位置

远程分发

scp –r /opt/zookeeper-3.4.8slave01:/opt

scp –r /opt/zookeeper-3.4.8slave02:/opt

scp –r /opt/zookeeper-3.4.8slave03:/opt

在Zookeeper集群的每台节点上创建Zookeeper的数据文件：

mkdir /opt/hadoop-2.7.2/zookeeper/

设置myid:

master

echo “1”> /opt/hadoop-2.7.2/zookeeper/myid

slave01

echo “2”>/opt/hadoop-2.7.2/zookeeper/myid

slave02

echo “3”> /opt/hadoop-2.7.2/zookeeper/myid

slave03

echo “4”> /opt/hadoop-2.7.2/zookeeper/myid

 

8.hbase安装

在主节点上解压HBase的tar包：

tar –zvxfhbase-1.1.4-bin.tar.gz

拷贝/hadoop+hbase集群/opt/hbase-1.1.4/conf目录下面的hbase-env.sh, hbase-site.xml, regionservers,backup-masters,core-site.xml,hdfs-site.xml到master的相同目录

其中hbase-env.sh   exportHBASE_HEAPSIZE=32  这个值要根据内存而定。

将配置好的HBase安装目录拷贝到其他slave节点，例如：

scp–r /opt/hbase-1.1.4 slave01:/opt

scp–r /opt/hbase-1.1.4 slave02:/opt

9.启动zookeeper集群

在每台Zookeeper集群节点上，进入到Zookeeper的安装目录，运行以下命令：

bin/zkServer.sh start

查看单机Zookeeper是leader还是follower：

bin/zkServer.shstatus 

停止Zookeeper：

bin/zkServer.sh stop

10.启动hadoop集群(只用到了dfs)

Hadoop集群的启动（在Master节点上操作）

/opt/hadoop-2.7.2/bin/hdfs namenode -format

 

启动dfs集群

cd $HADOOP_HOME/sbin

./start-dfs.sh

输入jps查看java相关进程

浏览器访问相关页面

若输入网址为如下，需进行解析

http://master:50070/   dfs页面

Hadoop集群的停止

停止dfs集群

cd $HADOOP_HOME/sbin

./stop-dfs.sh

11.启动hbase集群

在启动HBase集群之前，需保证Hadoop集群和Zookeeper集群是正常运行，然后进入到HBase的安装目录：

启动HBase

bin/start-hbase.sh

输入jps查看HBase进程情况

Master

Slave01

Slave02(main进程忽略不看)

Slave03(main进程忽略不看)

停止HBase

bin/stop-hbase.sh

进入HBase shell

bin/hbase shell

若报找不到hadoop资源库的错，可以在hbase shell脚本里加入exportLD_LIBRARY_PATH=/ho me/hadoop-2.7.2/lib/native/，不加也不影响使用。

查看HBase HMaster Web页面

http://master:16010

12.开机启动配置

拷贝/hadoop+hbase集群/home下master-zk-hadoop-hbase-start.sh到master指定目录

master中加/home/master-zk-hadoop-hbase-start.sh到系统服务,防止机器重启服务挂掉

chmod +xmaster-zk-hadoop-hbase-start.sh

ln -smaster-zk-hadoop-hbase-start.sh /etc/init.d/

 

拷贝/hadoop+hbase集群/home下slave-zk-start.sh到dmdb2, dmdb3,dmdb4指定目录

dmdb2, dmdb3, dmdb4中加/home/slave-zk-start.sh到系统服务,防止机器重启服务挂掉

chmod +xslave-zk-start.sh

ln -s slave-zk-start.sh/etc/init.d/

 

13.创建表

bin/hbase shell

create‘GA_GXRY_ACT’,{NAME=>’act’,VERSIONS=>1},SPLITS_FILE=>’splits.txt’

注意：创建完表，其中存有数据后，不要修改系统时间，否则会导致hbase数据不可用，故请提前配置好集群时间同步。万不得已要改时间重新同步，得删除表重新创，数据将全部丢失。

 

HIVE部署

将hive部署到跟NameNode同一个节点就行。

 

进入hive的conf文件夹：

cp hive-default.xml.template hive-site.xml cp hive-log4j.properties.template hive-log4j.properties

 

（1）       修改hive-site.xml

将Hive的元数据存储到DM数据库中

需要修改的配置有：

javax.jdo.option.ConnectionURL

javax.jdo.option.ConnectionDriverName

javax.jdo.option.ConnectionUserName

javax.jdo.option.ConnectionPassword

hive.metastore.warehouse.dir

 

修改如下：

将javax.jdo.option.ConnectionURL配置修改成如下：

其中192.168.195.1这个ip是指DM数据库所在的IP。

<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:dm://10.74.203.57:5236?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property>

 

将javax.jdo.option.ConnectionDriverName配置修改成如下：

配置DM数据库的驱动

<property> <name>javax.jdo.option.ConnectionDriverName</name> <value>dm.jdbc.driver.DmDriver</value> <description>Driver class name for a JDBC metastore</description> </property>

 

将javax.jdo.option.ConnectionUserName配置修改成如下：

配置用户名

<property> <name>javax.jdo.option.ConnectionUserName</name> <value>HIVE</value> <description>username to use against metastore database</description> </property>

 

将javax.jdo.option.ConnectionPassword配置修改成如下：

配置DM数据库的密码

<property> <name>javax.jdo.option.ConnectionPassword</name> <value>888888888</value> <description>password to use against metastore database</description> </property>

 

将hive.metastore.warehouse.dirs配置修改成如下：

<property> <name>hive.metastore.warehouse.dir</name> <value>hdfs://master:9000/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property>

 

由于将Hive的元数据放在DM数据库中，则需要做适配才行，所以要加一项配置：

<property>          <name>datanucleus.mapping.Schema</name>          <value>HIVE</value>          <description>默认模式</description> </property>

 

（2）       添加Jar包

将DM数据库驱动的jar包:Dm7JdbcDriver16-20131009.jar

DM数据库适配置jar包：datanucleus-rdbms-dm-0.0.1-SNAPSHOT.jar

 

将这两个jar加到hive的lib中。

 

（3）       修改hive-log4j.properties

将log4j.appender.EventCounter修改成：

log4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

 

（4）       添加Hive的环境变量

export HIVE_HOME=/opt/hive export PATH=$ HADOOP_HOME/bin:$ HIVE_HOME /bin:$PATH

 

（5）       hdfs上面，创建目录

 

$HADOOP_HOME/bin/hdfsdfs -mkidr /tmp $HADOOP_HOME/bin/hdfsdfs -mkidr /user/hive/warehouse $HADOOP_HOME/bin/hdfsdfs -chmod g+w /tmp $HADOOP_HOME/bin/hdfsdfs -chmod g+w /user/hive/warehouse

 

（6）       启动Hive

启动metastore服务

bin/hive --service metastore &

 

启动hiveserver服务

bin/hive --service hiveserver2 &