hdfs的搭建

最新推荐文章于 2023-03-19 20:35:08 发布

wwyh520

最新推荐文章于 2023-03-19 20:35:08 发布

阅读量2.3k

点赞数

分类专栏： VM

本文链接：https://blog.csdn.net/wanbf123/article/details/81948026

版权

本文详细介绍了Hadoop HA的原理，解决NameNode单点故障的问题，通过配置Active/Standby NameNodes实现高可用。文章涵盖了集群规划、服务器准备、Zookeeper和Hadoop集群的安装、初始化以及启动过程，确保在Active NameNode故障时能快速切换到Standby NameNode，保证集群的正常运行。

摘要由CSDN通过智能技术生成

wget http://www-eu.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

ssh-keygen -t rsa

# cat id_rsa.pub>> authorized_keys
# ssh root@10.8.26.196 cat ~/.ssh/id_rsa.pub>> authorized_keys
# ssh root@10.8.26.195 cat ~/.ssh/id_rsa.pub>> authorized_keys

# cat id_rsa.pub>> authorized_keys
# ssh root@10.8.26.196 cat ~/.ssh/id_rsa.pub>> authorized_keys
# ssh root@10.8.26.195 cat ~/.ssh/id_rsa.pub>> authorized_keys

# scp authorized_keys root@server2:/root/.ssh/
# scp authorized_keys root@server3:/root/.ssh/
# scp known_hosts root@server2:/root/.ssh/
# scp known_hosts root@server3:/root/.ssh/

[root@master localfiles]# hdfs dfs -mkdir /user
[root@master localfiles]# hdfs dfs -mkdir /user/root
[root@master localfiles]# hdfs dfs -mkdir /user/root/input
[root@master localfiles]# hdfs dfs -mkdir /user/root/output
[root@master localfiles]# hdfs dfs -put ./testHdfs.txt /user/root/input

Hadoop HA 原理概述

为什么会有 hadoop HA 机制呢？

　　HA：High Available，高可用

　　在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。对于只有一个 NameNode 的集群，如果 NameNode 机器出现故障(比如宕机或是软件、硬件升级)，那么整个集群将无法使用，直到 NameNode 重新启动

那如何解决呢？

　　HDFS 的 HA 功能通过配置 Active/Standby 两个 NameNodes 实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode 很快的切换到另外一台机器。

　　在一个典型的 HDFS(HA) 集群中，使用两台单独的机器配置为 NameNodes 。在任何时间点，确保 NameNodes 中只有一个处于 Active 状态，其他的处在 Standby 状态。其中 ActiveNameNode 负责集群中的所有客户端操作，StandbyNameNode 仅仅充当备机，保证一旦 ActiveNameNode 出现问题能够快速切换。

　　为了能够实时同步 Active 和 Standby 两个 NameNode 的元数据信息（实际上 editlog），需提供一个共享存储系统，可以是 NFS、QJM（Quorum Journal Manager）或者 Zookeeper，Active Namenode 将数据写入共享存储系统，而 Standby 监听该系统，一旦发现有新数据写入，则读取这些数据，并加载到自己内存中，以保证自己内存状态与 Active NameNode 保持基本一致，如此这般，在紧急情况下 standby 便可快速切为 active namenode。为了实现快速切换， Standby 节点获取集群的最新文件块信息也是很有必要的。为了实现这一目标，DataNode 需要配置 NameNodes 的位置，并同时给他们发送文件块信息以及心跳检测。

集群规划

　　描述：hadoop HA 集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群，总共准备了四台主机，分别是 hadoop1，hadoop2，hadoop3，hadoop4 其中 hadoop1 和 hadoop2 做 namenode 的主备切换，hadoop3 和 hadoop4 做 resourcemanager 的主备切换

四台机器

集群服务器准备

1、修改主机名

2、修改 IP 地址

3、添加主机名和 IP 映射

4、添加普通用户 hadoop 用户并配置 sudoer 权限

5、设置系统启动级别

6、关闭防火墙/关闭 Selinux

7、安装 JDK 两种准备方式：

　　1、每个节点都单独设置，这样比较麻烦。线上环境可以编写脚本实现

　　2、虚拟机环境可是在做完以上 7 步之后，就进行克隆

　　3、然后接着再给你的集群配置 SSH 免密登陆和搭建时间同步服务

8、配置 SSH 免密登录

9、同步服务器时间

集群安装

1、安装 Zookeeper 集群

具体安装步骤参考之前的文档http://www.cnblogs.com/qingyunzong/p/8619184.html

2、安装 hadoop 集群

（1）获取安装包

　　从官网或是镜像站下载

　　http://hadoop.apache.org/

　　http://mirrors.hust.edu.cn/apache/

（2）上传解压缩

[hadoop@hadoop1 ~]$ ls
apps  hadoop-2.7.5-centos-6.7.tar.gz  movie2.jar  users.dat                zookeeper.out
data  log                             output2     zookeeper-3.4.10.tar.gz
[hadoop@hadoop1 ~]$ tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C apps/

（3）修改配置文件

　　配置文件目录：/home/hadoop/apps/hadoop-2.7.5/etc/hadoop

　　修改 hadoop-env.sh文件

[hadoop@hadoop1 ~]$ cd apps/hadoop-2.7.5/etc/hadoop/
[hadoop@hadoop1 hadoop]$ echo $JAVA_HOME
/usr/local/jdk1.8.0_73
[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh

　　修改core-site.xml

[hadoop@hadoop1 hadoop]$ vi core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice为myha01 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://myha01/</value>
    </property>

    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/data/hadoopdata/</value>
    </property>

    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,h