hadoop+zookeeper

最新推荐文章于 2024-05-07 07:34:25 发布

liuyong1_

最新推荐文章于 2024-05-07 07:34:25 发布

阅读量3.1k

点赞数 1

本文链接：https://blog.csdn.net/liuyong1_/article/details/80736704

版权

系统环境:RHEL6.5 selinux and iptables is disabled
Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件
软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz
hbase-1.2.4-bin.tar.gz

172.25.40.1:NameNode
DFSZKFailoverController
ResourceManager

172.25.40.5:NameNode
DFSZKFailoverController
ResourceManager

172.25.40.2:JournalNode
QuorumPeerMain (zookeeper)
DataNode
NodeManager

172.25.40.3:JournalNode
QuorumPeerMain
DataNode
NodeManager

172.25.40.4:JournalNode
QuorumPeerMain
DataNode
NodeManager

1.配置zookeeper：至少三台,总节点数为奇数个
安装：

tar zxf      jdk-7u79-linux-x64.tar.gz
tar zxf zookeeper-3.4.10.tar.gz

编辑 zoo.cfg 文件:

/home/hadoop/zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
server.1=172.25.40.2:2888:3888
server.2=172.25.40.3:2888:3888
server.3=172.25.40.4:2888:3888

在默认数据目录下/tmp/zookeeper/ 创建 myid 文件，写入
一个唯一的数字,取值范围在 1-255。比如:172.25.40.2 节点的 myid 文件写入数
字“1”,此数字与配置文件中的定义保持一致,(server.1=172.25.40.2:2888:3888
)其它节点依次类推。

rm -fr /tmp/*
mkdir /tmp/zookeeper
echo x > /tmp/zookeeper/myid

启动：

bin/zkServer.sh start
bin/zkServer.sh status

这里写图片描述

连接 zookeeper

bin/zkCli.sh

这里写图片描述

Hadoop 配置
hadoop-2.7.3.tar.gz
编辑 core-site.xml 文件:

<!-- 指定 hdfs 的 namenode 为 masters (名称可自定义)-->
<property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://masters</value>
                    </property>
                   <!-- 指定 zookeeper 集群主机地址 -->
            <property>
                    <name>ha.zookeeper.quorum</name>
                    <value>172.25.40.3:2181,172.25.40.2:2181,172.25.40.4:2181</value>
                    </property>

编辑 hdfs-site.xml 文件

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>
</property>
<!-- 指定 hdfs 的 nameservices 为 masters,和 core-site.xml 文件中的设置保持一
致 -->
<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>
<!-- masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)-->
<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>
<!-- 指定 h1 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.40.1:9000</value>
</property>
<!-- 指定 h1 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.40.1:50070</value>
</property>
<!-- 指定 h2 节点的 rpc 通信地址 -->
<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.40.5:9000</value>
</property>
<!-- 指定 h2 节点的 http 通信地址 -->
<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.40.5:50070</value>
</property>
<!-- 指定 NameNode 元数据在 JournalNode 上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.40.3:8485;172.25.40.2:8485;172.25.40.4:8485/masters</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法,每个机制占用一行-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免密码 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>

</configuration>

配置免密
由于是nfs文件共享所以免密存在

3.启动 hdfs 集群(按顺序启动)
1)在三个 DN 上依次启动 zookeeper 集群

bin/zkServer.sh start

这里写图片描述
2)在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)

sbin/hadoop-daemon.sh start journalnode

[hadoop@server2 ~]$ jps
1493 JournalNode
1222 QuorumPeerMain
1594 Jps

3)格式化 HDFS 集群

bin/hdfs namenode -format

Namenode 数据默认存放在/tmp,需要把数据拷贝到 h2

scp -rp /tmp/hadoop-hadoop 172.25.40.5:/tmp

3) 格式化 zookeeper (只需在 h1 上执行即可)

bin/hdfs zkfc -formatZK #注意大小写

4)启动 hdfs 集群(只需在 h1 上执行即可)

sbin/start-dfs.sh

5) 查看各节点状态

[hadoop@server1 hadoop]$ jps
1897 Jps
1727 DFSZKFailoverController
1433 NameNode
[hadoop@server5 ~]$ jps
1308 Jps
1163 NameNode
1260 DFSZKFailoverController
[hadoop@server2 hadoop]$ jps
1424 Jps
1324 DataNode
1233 JournalNode
1137 QuorumPeerMain
[hadoop@server3 hadoop]$ jps
1404 DataNode
1504 Jps
1314 JournalNode
1139 QuorumPeerMain
[hadoop@server4 hadoop]$ jps
1250 DataNode
1350 Jps
1160 JournalNode
1120 QuorumPeerMain

这里写图片描述

此时可进行测试：

./hdfs dfsadmin -report
./hdfs dfs -mkdir /user
./hdfs dfs -mkdir /user/hadoop
./hdfs dfs -ls
./hdfs dfs -put ../etc/hadoop/

6) 测试故障自动切换

这里写图片描述

杀掉 h1 主机的 namenode 进程后依然可以访问,此时 h2 转为 active 状态接
管 namenode
这里写图片描述
启动 h1 上的 namenode,此时为 standby 状态

sbin/hadoop-daemon.sh start namenode

这里写图片描述

hdfs 的高可用完成

yarn 的高可用:
1) 编辑 mapred-site.xml 文件

/home/hadoop/hadoop/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定 yarn 为 MapReduce 的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

</configuration>

2)编辑 yarn-site.xml 文件

vim  yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 配置可以在 nodemanager 上运行 mapreduce 程序 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 激活 RM 高可用 -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 指定 RM 的集群 id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>
<!-- 定义 RM 的节点-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 指定 RM1 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.40.1</value>
</property>
<!-- 指定 RM2 的地址 -->
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.40.5</value>
</property>
<!-- 激活 RM 自动恢复 -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置 RM 状态信息存储方式,有 MemStore 和 ZKStore-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 配置为 zookeeper 存储时,指定 zookeeper 集群的地址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.40.2:2181,172.25.40.3:2181,172.25.40.4:2181</value>
</property>

</configuration>

3)启动 yarn 服务

sbin/start-yarn.sh

这里写图片描述
RM2 上需要手动启动

sbin/yarn-daemon.sh start resourcemanager

这里写图片描述
最好是把 RM 与 NN 分离运行,这样可以更好的保证程序的运行性能

这里写图片描述

4) 测试 yarn 故障切换

Hbase 分布式部署
1) hbase 配置

tar zxf hbase-1.2.4-bin.tar.gz

配置环境：

/home/hadoop/hbase-1.2.4/conf/
vim hbase-env.sh
export JAVA_HOME=/home/hadoop/java    指定 jdk
export HADOOP_HOME=/home/hadoop/hadoop     指定 hadoop 目录,否则 hbase
无法识别 hdfs 集群配置
export HBASE_MANAGES_ZK=false     默认值时 true,hbase 在启动时自
动开启 zookeeper,如需自己维护 zookeeper 集群需设置为 false

vim hbase-site.xml
<configuration>
<!-- 指定 region server 的共享目录,用来持久化 HBase。这里指定的 HDFS 地址
是要跟 core-site.xml 里面的 fs.defaultFS 的 HDFS 的 IP 地址或者域名、端口必须一致。 -->
<property>
<name>hbase.rootdir</name>
<value>hdfs://masters/hbase</value>
</property>
<!-- 启用 hbase 分布式模式 -->
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<!-- Zookeeper 集群的地址列表,用逗号分割。默认是 localhost,是给伪分布式用
的。要修改才能在完全分布式的情况下使用。 -->
<property>
<name>hbase.zookeeper.quorum</name>
<value>172.25.40.2,172.25.40.3,172.25.40.4</value>
</property>
<!-- 指定 hbase 的 master -->
<property>
<name>hbase.master</name>
<value>h1</value>
</property>

</configuration>

vim regionservers
172.25.40.2
172.25.40.3
172.25.40.4

2) 启动 hbase
主节点运行:

bin/start-hbase.sh

这里写图片描述
备节点运行:

bin/hbase-daemon.sh start master

这里写图片描述
HBase Master 默认端口时 16000,还有个 web 界面默认在 Master 的 16010 端口
上,HBase RegionServers 会默认绑定 16020 端口,在端口 16030 上有一个展示
信息的界面

3) 测试

bin/hbase shell
hbase(main):001:0> create 'test', 'cf'
0 row(s) in 9.1810 seconds

=> Hbase::Table - test
hbase(main):002:0> list 'test'
TABLE                                                                                                  
test                                                                                                   
1 row(s) in 0.0590 seconds

=> ["test"]
hbase(main):003:0> put 'test', 'row1', 'cf:a', 'value1'
0 row(s) in 0.4460 seconds

hbase(main):004:0> put 'test', 'row2', 'cf:b', 'value2'
0 row(s) in 0.0160 seconds

hbase(main):005:0> put 'test', 'row3', 'cf:c', 'value3'
0 row(s) in 0.0150 seconds

hbase(main):006:0> scan 'test'
ROW                        COLUMN+CELL                                                                 
 row1                      column=cf:a, timestamp=1529400755827, value=value1                          
 row2                      column=cf:b, timestamp=1529400761239, value=value2                          
 row3                      column=cf:c, timestamp=1529400765888, value=value3                          
3 row(s) in 0.1240 seconds

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls /

这里写图片描述

在主节点上 kill 掉 HMaster 进程后查看故障切换

这里写图片描述

liuyong1_

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
hadoop+zookeeper

系统环境:RHEL6.5 selinux and iptables is disabled Hadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件软件版本:hadoop-2.7.3.tar.gz zookeeper-3.4.9.tar.gz jdk-7u79-linux-x64.tar.gz hbase-1.2.4-bin.tar.gz172.25.40.1:N...
复制链接

扫一扫