dinfo-oec hadoop部署方案

最新推荐文章于 2024-03-09 00:52:27 发布

小飞侠-2

最新推荐文章于 2024-03-09 00:52:27 发布

阅读量184

点赞数

文章标签：大数据开发工具 java

Hadoop2.6整合hbase1.1.0分布式环境搭建

环境准备

三台机器Linux机器，这里使用CentOS-6.5-x86_64：

192.168.1.120 master

192.168.1.121 slave1

192.168.1.122 slave2

安装包准备

jdk-7u79-linux-x64.tar.gz

hadoop-2.6.0.tar.gz

hbase-1.1.0-bin.tar.gz

zookeeper-3.4.6.tar.gz

集群规划

主机名	IP	安装软件	运行进程
master	192.168.1.120	Hadoop、JDK、Zookeeper、HBase	NameNode、QuorumPeerMain 、JournalNode、DFSZKFailoverController、HMaster、ResourceManager、DataNode、NodeManager
slave1	192.168.1.121	Hadoop、JDK、Zookeeper、HBase	NameNode、QuorumPeerMain 、JournalNode、DFSZKFailoverController、HMaster、HRegionServer、DataNode、NodeManager
slave2	192.168.1.122	Hadoop、JDK、Zookeeper、HBase	QuorumPeerMain 、JournalNode、HRegionServer、DataNode、NodeManager

说明：

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。

系统基本环境配置

1)修改主机名：
vim/etc/sysconfig/network 文件，可以不修改，一旦修改了主机名后需要重启机器。

2)配置静态 IP：

一般情况都建议配置使用静态IP，如果网络环境经常变动就没必要使用静态IP了。

vim/etc/sysconfig/network-scripts/ifcfg-eth0

重新启动网络服务：service network restart

3)配置ip和主机名映射，vim/etc/hosts 文件。

可以通过scp 命令直接将文件同步到其它机器。

4)创建用户和用户组
创建Hadoop用户组：groupadd Hadoop

创建hadoop用户，并添加到Hadoop组中：

设置用户密码： passwd hadoop

5)关闭SELinux

修改selinux配置文件： vim /etc/selinux/config 文件。

修改完后需要重启机器，如果不想重启可以使用临时关闭命令：

其它机器做同样配置。

6)集群SSH免密码登陆：

切换到hadoop用户，由于集群安装和启动使用hadoop用户身份，在配置免密码登陆时也必须使用hadoop用户。
ssh-keygen -t rsa 四次Enter键。

会在当前用户家目录下的隐藏文件夹.ssh目录下生产密匙：

cp id_rsa.pub authorized_keys

其它机器重复上述步骤。
配置master到slave1和slave2的免密码登陆：
master本机也需要免密码：

ssh-copy-id -i com.brian.hadoop.cloud.master
查看master的authorized_keys文件：
cat authorized_keys

master到slave1:
ssh-copy-id -i com.brian.hadoop.cloud.slave1

查看slave1的authorized_keys:

master到slave2:
ssh-copy-id -i com.brian.hadoop.cloud.slave2

查看slave2的authorized_keys文件：

由于需要配置Hadoop HA，另外一台机器也需要配置免密码登陆，配置slave1到master和slave2的免密码登陆：
slave1本机免密码：
ssh-copy-id -i com.brian.hadoop.cloud.slave1

slave1到master:
ssh-copy-id -i com.brian.hadoop.cloud.master

slave1到slave2:

ssh-copy-id -i com.brian.hadoop.cloud.slave2

测试：

在master机器上登陆到slave1和slave2：

ssh com.brian.hadoop.cloud.slave1

ssh com.brian.hadoop.cloud.slave2

同样的在slave1机器上登陆到master和slave2，没有提示输入密码即免密码配置完成。

安装目录规划及创建

1)Hadoop安装目录：
/opt/hadoop_cloud/Hadoop

2)Hadoop数据存放目录：
/apps/Hadoop

3)HBase安装目录：
/opt/hadoop_cloud/HBase

4)HBase数据存放目录：
/apps/HBase

5)Zookeeper安装目录：
/opt/hadoop_cloud/Zookeeper

6)Zookeeper数据存放目录：
/apps/Zookeeper/data

/apps/Zookeeper/dataLogs

目录结构：

7)JDK安装目录：
/opt/hadoop_cloud/JDK

8)查看目录结构：
ll /opt/hadoop_cloud/

ll -R /apps/

9)同步到其它机器：
scp -r /opt/hadoop_cloud/ com.brian.hadoop.cloud.slave1:/opt/

scp -r /apps/ com.brian.hadoop.cloud.slave1:/

scp -r /opt/hadoop_cloud/com.brian.hadoop.cloud.slave2:/opt/

scp -r /apps/ com.brian.hadoop.cloud.slave2:/

10) 修改目录权限：
chown hadoop:Hadoop -R /opt/hadoop_cloud/

chown hadoop:Hadoop -R /apps/

其它机器也需要修改权限。

11) 修改安装包用户权限：
chown hadoop:Hadoop *.gz

安装JDK

1)解压jdk-7u79-linux-x64.tar.gz 到 /opt/hadoop_cloud/JDK 目录下：
tar -xf jdk-7u79-linux-x64.tar.gz -C /opt/hadoop_cloud/JDK/

2)配置JDK环境变量：
在/etc/profile.d/ 目录下创建一个名为jdk_env.sh的shell脚本：
vim /etc/profile.d/jdk_env.sh

立即生效：source /etc/profile.d/jdk_env.sh

也可以直接修改/etc/profile文件，添加的内容是一样的。

3)同步配置：
scp -r/opt/hadoop_cloud/JDK/jdk/ com.brian.hadoop.cloud.slave1:/opt/hadoop_cloud/JDK/

scp /etc/profile.d/jdk_env.shcom.brian.hadoop.cloud.slave1:/etc/profile.d/

scp -r/opt/hadoop_cloud/JDK/jdk/ com.brian.hadoop.cloud.slave2:/opt/hadoop_cloud/JDK/

scp /etc/profile.d/jdk_env.sh com.brian.hadoop.cloud.slave2:/etc/profile.d/

分别登陆到其它机器上进行以下操作：
立即生效：source /etc/profile.d/jdk_env.sh

4)切换用户：
安装完JDK后，需要切换到hadoop用户来安装Hadoop相关组件。

安装配置Zookeeper

1)解压 zookeeper-3.4.6.tar.gz 到/opt/hadoop_cloud/Zookeeper/：
tar -xf zookeeper-3.4.6.tar.gz -C /opt/hadoop_cloud/Zookeeper/

2)复制Zookeeper配置文件：
cp zoo_sample.cfg zoo.cfg

3)修改Zookeeper配置文件：
vim zoo.cfg

4)创建myid文件：
在dataDir配置的目录下创建一个myid文件。
echo "1" > /apps/Zookeeper/data/myid

不同的主机上myid文件的内容是不同的。

5)同步配置：
scp -r /opt/hadoop_cloud/Zookeeper/zookeeper-3.4.6/ com.brian.hadoop.cloud.slave1:/opt/hadoop_cloud/Zookeeper/

scp /apps/Zookeeper/data/myidcom.brian.hadoop.cloud.slave1:/apps/Zookeeper/data/

修改myid文件内容：
echo "2" > /apps/Zookeeper/data/myid

scp -r /opt/hadoop_cloud/Zookeeper/zookeeper-3.4.6/ com.brian.hadoop.cloud.slave2:/opt/hadoop_cloud/Zookeeper/

scp /apps/Zookeeper/data/myidcom.brian.hadoop.cloud.slave2:/apps/Zookeeper/data/

修改myid文件内容：
echo "3" > /apps/Zookeeper/data/myid

6)防火墙开放端口(使用root用户)：
iptables -I INPUT -d 192.168.1.120 -p tcp --dport 2181 -j ACCEPT
iptables -I INPUT -d 192.168.1.120 -p tcp --dport 2888 -j ACCEPT
iptables -I INPUT -d 192.168.1.120 -p tcp --dport 3888 -j ACCEPT
查看：iptables -nL

iptables -A OUTPUT -d 192.168.1.120 -p tcp --dport 2181 -j ACCEPT
iptables -A OUTPUT -d 192.168.1.120 -p tcp --dport 2888 -j ACCEPT
iptables –A OUTPUT -d 192.168.1.120 -p tcp --dport 3888 -j ACCEPT

保存配置并重新启动服务：
service iptables save
service iptables restart

其它机器也要开放相应端口。

7)启动Zookeeper服务(hadoop用户)：
cd /opt/hadoop_cloud/Zookeeper/zookeeper-3.4.6/bin/
./zkServer.sh start

查看Zookeeper服务状态：
master: ./zkServer.sh status

slave1: ./zkServer.sh status

slave2: ./zkServer.sh status

Zookeeper配置完成。

安装配置Hadoop

1)解压 hadoop-2.6.0.tar.gz 到/opt/hadoop_cloud/Hadoop/ 目录下：
tar -xf hadoop-2.6.0.tar.gz -C /opt/hadoop_cloud/Hadoop/

2)配置core-site.xml：
vim ${HADOOP_HOME}/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/apps/Hadoop/tmp</value>
</property>
<property>
<name>io.native.lib.available</name>
<value>true</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>com.brian.hadoop.cloud.master:2181,com.brian.hadoop.cloud.slave1:2181,com.brian.hadoop.cloud.slave2:2181</value>
</property>
<property>
<name>hadoop.security.authorization</name>
<value>false</value>
</property>
<property>
<name>hadoop.security.authentication</name>
<value>simple</value>
</property>
</configuration>

3)配置hdfs-site.xml
<configuration>

<name>dfs.nameservices</name>

<value>hacluster</value>

</property>

<name>dfs.namenode.rpc.port</name>

</property>

<name>dfs.ha.namenodes.hacluster</name>

</property>

<name>dfs.namenode.http-address.hacluster.nn1</name>

<value>com.brian.hadoop.cloud.master:50070</value>

</property>

<name>dfs.namenode.rpc-address.hacluster.nn1</name>

<value>com.brian.hadoop.cloud.master:9000</value>

</property>

<name>dfs.namenode.http-address.hacluster.nn2</name>

<value> com.brian.hadoop.cloud.slave1:50070</value>

</property>

<name>dfs.namenode.rpc-address.hacluster.nn2</name>

<value> com.brian.hadoop.cloud.slave1:9000</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value> qjournal://com.brian.hadoop.cloud.master:8485;com.brian.hadoop.cloud.slave1:8485;com.brian.hadoop.cloud.slave2:8485/hacluster</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value> /apps/Hadoop/journalnode</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<name>dfs.client.failover.proxy.provider.hacluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<name>dfs.namenode.name.dir</name>

<value> file:/apps/Hadoop/dfs/namenode</value>

</property>

<name>dfs.datanode.data.dir</name>

<value> file:/apps/Hadoop/dfs/datanode</value>

</property>

<name>dfs.journalnode.http-address</name>

</property>

<name>dfs.journalnode.rpc-address</name>

</property>

4)配置mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<configuration>

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

</property>

<name>mapreduce.remote.os</name>

<value>Linux</value>

</property>

5)配置yarn-site.xml

<name>yarn.resourcemanager.hostname</name>

<value>com.brian.hadoop.cloud.master</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6)修改slaves文件：

7)同步配置到其它机器：

scp –r /opt/hadoop_cloud/Hadoop/hadoop-2.6.0/com.brian.hadoop.cloud.slave1:/opt/hadoop_cloud/Hadoop/
scp –r /opt/hadoop_cloud/Hadoop/hadoop-2.6.0/com.brian.hadoop.cloud.slave2:/opt/hadoop_cloud/Hadoop/

8)防火墙开放端口(root用户)：
master和slave1防火墙开放端口一致，slave2略有不同，少了9000和50070端口
master、slave1:

iptables -I INPUT -d 192.168.1.120-p tcp --dport 9000 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 50070 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 50010 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 8485 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 8480 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 8031 -j ACCEPT
iptables -I INPUT -d 192.168.1.120 -p tcp --dport 8088 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 8042 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 10020 -j ACCEPT

iptables -I INPUT -d 192.168.1.120-p tcp --dport 19888 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 9000 -j ACCEPT

iptables -A OUTPUT-d 192.168.1.120-p tcp --dport 50070 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 50010 -j ACCEPT

iptables –A OUTPUT -d192.168.1.120 -p tcp --dport 8485 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 8480 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.120-p tcp --dport 8031 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 8088 -j ACCEPT
iptables -A OUTPUT -d 192.168.1.121 -p tcp --dport 8042 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 10020 -j ACCEPT

iptables -A OUTPUT -d192.168.1.120 -p tcp --dport 19888 -j ACCEPT

slave2:

iptables -I INPUT -d 192.168.1.122-p tcp --dport 8485 -j ACCEPT

iptables -I INPUT -d 192.168.1.122-p tcp --dport 8480 -j ACCEPT

iptables -I INPUT -d 192.168.1.122-p tcp --dport 8031-j ACCEPT
iptables -I INPUT -d 192.168.1.122 -p tcp --dport 8042 -j ACCEPT

iptables -I INPUT -d 192.168.1.122-p tcp --dport 50010 -j ACCEPT

iptables -I INPUT -d 192.168.1.122-p tcp --dport 10020 -j ACCEPT

iptables -I INPUT -d 192.168.1.122-p tcp --dport 19888 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 8485 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 8480 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 8031 -j ACCEPT
iptables -A OUTPUT -d 192.168.1.122 -p tcp --dport 8042 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 50010 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 10020 -j ACCEPT

iptables -A OUTPUT -d192.168.1.122 -p tcp --dport 19888 -j ACCEPT

保存更改：service iptables save
重启服务：service iptables restart

9)配置Hadoop环境变量(root用户)：
vim /etc/profile.d/hadoop_env.sh

立即生效：source /etc/profile.d/hadoop_env.sh
环境变量测试：hadoop version

同步到其它机器。

10) 启动journalnode(master上启动)：
hadoop-daemons.sh start journalnode

在slave1上使用jps命令查看进程：

在slave2上使用jps查看进程：

Journalnode进程启动成功！

11) 格式化HDFS

在master上执行hdfs namenode –format：

看到以上信息说明格式化成功，格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生产一些目录和文件。这里是/apps/Hadoop/ 目录：

将生产的目录拷贝到slave1的/apps/Hadoop/ 目录：
scp -r dfs/com.brian.hadoop.cloud.slave1:/apps/Hadoop/

12) 格式化ZK(在master上格式化)：

hdfs zkfc –formatZK

输出没有报错且看到以上信息说明Zookeeper格式化成功。

13) 启动HDFS(在master上执行)：
start-dfs.sh

14) 测试HDFS：
hadoop fs –ls /

创建文件：

15) 通过web页面查看：
访问：http://192.168.1.120:50070

访问：http://192.168.1.121:50070

HDFS HA配置成功！

16) 启动YARN(在master上执行)：
start-yarn.sh

17) 测试YARN：
先上传文件到hdfs上：

运行一下hadoop提供的demo中的WordCount程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount/user /out
查看输出：hadoop fs -ls /out

通过web页面查看：
访问：http://192.168.1.120:8088

18) 集群运行进程检查：
master(7个进程):

slave1(6个进程)：

slave2(4个进程)：

至此hadoop启动成功！

安装配置HBase

1)解压 hbase-1.1.0-bin.tar.gz 到/opt/hadoop_cloud/HBase/ 目录下：

2)配置HBase：
修改/opt/hadoop_cloud/HBase/hbase-1.1.0/conf 目录下的hbase-site.xml：
vim hbase-site.xml：

<name>hbase.rootdir</name>

<value>hdfs://hacluster/hbase</value>

</property>

<name>hbase.master.port</name>

</property>

<name>hbase.tmp.dir</name>

<value>/apps/HBase/tmp</value>

</property>

<name>hbase.regionserver.port</name>

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value> com.brian.hadoop.cloud.master,com.brian.hadoop.cloud.slave1,com.brian.hadoop.cloud.slave2</value>

</property>

<name>zookeeper.session.timeout</name>

</property>

<name>zookeeper.znode.parent</name>

<value>/hbase</value>

</property>

<name>zookeeper.znode.rootserver</name>

<value>hbase-region-server</value>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/apps/HBase/zookeeper</value>

</property>

<name>hbase.zookeeper.property.clientPort</name>

</property>

<name>hbase.master.handler.count</name>

</property>

<name>dfs.namenode.rpc.port</name>

</property>

<name>hbase.security.authorization</name>

<value>false</value>

</property>

</configuration>

3)修改regionservers：
vim regionservers

4)同步配置到其它服务器：
scp -r /opt/hadoop_cloud/HBase/hbase-1.1.0/com.brian.hadoop.cloud.slave1:/opt/hadoop_cloud/HBase/
scp -r /opt/hadoop_cloud/HBase/hbase-1.1.0/ com.brian.hadoop.cloud.slave2:/opt/hadoop_cloud/HBase/

5)防火墙开放端口(root用户)：

master:
iptables -I INPUT -d 192.168.1.120 -p tcp --dport 16000 -j ACCEPT

iptables -I INPUT -d 192.168.1.120 -p tcp --dport 16010-j ACCEPT

iptables -A OUTPUT -d 192.168.1.120 -p tcp --dport16000 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.120 -p tcp --dport16010 -j ACCEPT

slave1:
iptables -I INPUT -d 192.168.1.121 -p tcp --dport 16000 -j ACCEPT

iptables -I INPUT -d 192.168.1.121 -p tcp --dport 16010-j ACCEPT

iptables -I INPUT -d 192.168.1.121 -p tcp --dport16020 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.121 -p tcp --dport16000 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.121 -p tcp --dport16010 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.121 -p tcp --dport16020 -j ACCEPT

slave2:

iptables -I INPUT -d 192.168.1.122 -p tcp --dport16020 -j ACCEPT

iptables -A OUTPUT -d 192.168.1.122 -p tcp --dport16020 -j ACCEPT

保存更改：service iptables save
重启服务：service iptables restart

6)启动 HBase(在master上启动)：
cd /opt/hadoop_cloud/HBase/hbase-1.1.0/bin/
./start-hbase.sh

在slave1上在单独启动一个HMaster，实现HBase HA：
cd /opt/hadoop_cloud/HBase/hbase-1.1.0/bin/
./hbase-daemon.sh start master

slave2：

7)测试HBase：
在master上执行hbase shell:
cd /opt/hadoop_cloud/HBase/hbase-1.1.0/bin
./hbase shell

至此HBase配置成功。

8)通过web页面查看HBase相关信息：
访问：http://192.168.1.120:16010/master-status

访问：http://192.168.1.121:16010/master-status

可以看到当前Master是stadby节点。