hadoop集群安装 7节点;HA

最新推荐文章于 2023-06-27 16:47:52 发布
最新推荐文章于 2023-06-27 16:47:52 发布
阅读量784 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop 集群 namenode centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1837634447/article/details/78416707
版权

教程使用版本:
hadoop-2.8.1.tar.gz
zookeeper-3.4.10.tar.gz
Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708)

前期准备:

集群规划：

主机名IP安装的软件运行的进程
node1192.168.66.3jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
node2192.168.66.4jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
node3192.168.66.5jdk、hadoopResourceManager
node4192.168.66.6jdk、hadoopResourceManager
node5192.168.66.7jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
node6192.168.66.8jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
node7192.168.66.9jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

修改主机名:

在每个节点上执行
其中node1 为主机名
$hostnamectl set-hostname node1

修改IP

$cd /etc/sysconfig/network-scripts
找到ifcfg-eth0修改内容


TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPADDR=192.168.66.3 #静态IP  
GATEWAY=192.168.66.2 #默认网关  
NETMASK=255.255.255.0 #子网掩码  
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="1a7840e2-4b8c-4770-9537-c1aa9ddf42e2"
DEVICE="ens33"
ONBOOT="yes"

service network restart

修改Hosts

$vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.66.3 node1
192.168.66.4 node2
192.168.66.5 node3
192.168.66.6 node4
192.168.66.7 node5
192.168.66.8 node6
192.168.66.9 node7

关闭防火墙

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动

ssh免密登陆

  1. 首先要配置node1到node2、node3、node4、node5、node6、node7的免密码登陆
    在node1上生产一对钥匙

    ssh-keygen -t rsa

  2. 将公钥拷贝到其他节点，包括自己

    ssh-coyp-id node1
ssh-coyp-id node2
ssh-coyp-id node3
ssh-coyp-id node4
ssh-coyp-id node5
ssh-coyp-id node6
ssh-coyp-id node7

  3. 配置node3到node4、node5、node6、node7的免密码登陆
    在node3上生产一对钥匙

    ssh-keygen -t rsa

    将公钥拷贝到其他节点

    ssh-coyp-id node4
ssh-coyp-id node5
ssh-coyp-id node6
ssh-coyp-id node7

注意：两个namenode之间要配置ssh免密码登陆，别忘了配置node2到node1的免登陆
在node2上生产一对钥匙

ssh-keygen -t rsa
ssh-coyp-id -i node1

jdk安装&环境变量配置

Linux x64 180.99 MB jdk-8u152-linux-x64.tar.gz

$vi /etc/profile

JAVA_HOME=/home/ning/app/jdk1.8.0_152
JRE_HOME=$JAVA_HOME/jre
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
HADOOP_HOME=/home/ning/app/hadoop-2.8.1
export JAVA_HOME
export JRE_HOME
export PATH
export CLASSPATH
export HADOOP_HOME

配置Zookeeper

安装配置zooekeeper集群（在node5上）
1. 解压

tar -zxvf zookeeper-3.4.10.tar.gz -C /home/hadoop/app/

2. 修改配置

```
cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
```

修改：dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
在最后添加：

server.1=node5:2888:3888
server.2=node6:2888:3888
server.3=node7:2888:3888

3. 保存退出
4. 然后创建一个tmp文件夹

mkdir /home/hadoop/app/zookeeper-3.4.10/tmp
echo 1 > /home/hadoop/app/zookeeper-3.4.10/tmp/myid

5. 将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop)

scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ hadoop07:/home/hadoop/app/

注意：修改hadoop06、hadoop07对应/hadoop/zookeeper-3.4.5/tmp/myid内容
hadoop06：

echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

hadoop07：

echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

安装配置hadoop集群（在node1上操作）

  1. 解压

    tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/app/

  2. 配置HDFS
    （hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）
    将hadoop添加到环境变量中

        vi /etc/profile
    export JAVA_HOME=/usr/java/jdk1.7.0_55
    export HADOOP_HOME=/hadoop/hadoop-2.6.4
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

  3. 修改hadoo-env.sh
    export JAVA_HOME=/home/hadoop/app/jdk1.7.0_55

core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice为ns1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1/</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ning/app/allAppFiles/hadoop/tmpDir/</value>
    </property>
    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node5:2181,node6:2181,node7:2181</value>
    </property>
</configuration>

hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice为bi，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>

    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>node1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>node1:50070</value>
    </property>

    <!-- nn2的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>node2:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>node2:50070</value>
    </property>

    <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node5:8485;node6:8485;node7:8485/ns1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/ning/app/allAppFiles/journalData</value>
    </property>

    <!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
        sshfence
        shell(/bin/true)
        </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/ning/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔离机制超时时间30s -->
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>node3</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>node4</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>node5:2181,node6:2181,node7:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

修改slaves

因为要在node1上启动HDFS、在node3启动yarn，所以
node1上的slaves文件指定的是datanode的位置，
node3上的slaves文件指定的是nodemanager的位置)

node5
node6
node7

启动

  1. 启动zookeeper集群（分别在node5、node6、node7上启动zk）

    cd /hadoop/zookeeper-3.4.10/bin/
./zkServer.sh start

    查看状态：一个leader，两个follower

    ./zkServer.sh status

  2. 启动journalnode（分别在在mini5、mini6、mini7上执行）

    cd /hadoop/hadoop-2.6.4
sbin/hadoop-daemon.sh start journalnode

    运行jps命令检验，node5、node6、node7上多了JournalNode进程

  3. 格式化HDFS
    在node1上执行命令:

    hdfs namenode -format

    格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，
    这里我配置的是/hadoop/hadoop-2.6.4/tmp，
    然后将/hadoop/hadoop-2.6.4/tmp拷贝到hadoop02的/hadoop/hadoop-2.6.10/下。

    scp -r tmp/ hadoop02:/home/hadoop/app/hadoop-2.6.4/

    也可以这样，建议hdfs namenode -bootstrapStandby

  4. 格式化ZKFC(在mini1上执行一次即可)

    hdfs zkfc -formatZK

  5. 启动HDFS(在mini1上执行)

    sbin/start-dfs.sh

  6. 启动YARN
    (#####注意#####：是在hadoop02上执行start-yarn.sh，
    把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

    sbin/start-yarn.sh

    node4上

    yarn-daemon.sh start resourcemanager

验证

浏览器访问:
http://node1:50070
NameNode ‘node1:9000’ (active)
http://node2:50070
NameNode ‘node2:9000’ (standby)
http://node4:8088

我们始终是路人
关注
专栏目录
Hadoop-HA集群安装部署
RomanyK的博客
04-21 4242
HA高可用集群安装部署 两台主节点一台从节点（即一台active、一台standby，条件允许也可配多台standby）解决单点故障
（五）Hadoop HA高可用集群的配置-Hadoop HA集群模式的安装
T.machine的博客
12-07 3667
目录 一、目的及要求： 实验目的： 实验要求： 二、环境要求： 集群规划： 三、具体步骤： 项目一：Hadoop的基本安装配置 项目二：Hadoop高可用完全分布模式配置 项目三：同步安装和配置 项目四：Hadoop高可用完全分布模式格式化和启动 四、可能遇到的问题： HA的架构 Hadoop HA 即Hadoop的高可用，不同于普通的namenode+s...
hadoop(五)--七节点HA集群搭建
jasnet_u的博客
06-09 847
如题，搭建hadoop的HA集群。hadoop的ha(High availability) 架构解决了hadoop中namenode可能存在的单点故障问题，两个namenode组成一个联邦，一个为active，另一个为standby状态。yarn集群的HA，则是需要两台resourcemanager机器，一个active一个standby。一、环境准备  7台虚拟机：  hadoopNode01 ...
Hadoop真·高可用集群模式（7节点）环境搭建
曾经是个DBA
08-02 3751
Hadoop真·高可用集群模式环境搭建   目录 一、 安装centos6.4 x86_64 虚拟机7台； 1 1． 修改Linux主机名 1 2． 修改IP 1 3． 修改主机名和IP的映射关系 1 4． 关闭
Hadoop集群搭建（7个节点）
briup_acmer的专栏
11-27 2005
谨记：不要使用root账户，使用hadoop账户 sudo 切换到root用户只执行一条命令 sudo vi /etc/inittab id:3:initdefault: 让系统在启动时不要启动图形界面，把级别改为三 在执行之前需要把hadoop 用户添加到  vi /etc/sudoers  root    ALL=(ALL)       ALL hadoop  ALL=
第七节点
Tonvia的博客
05-16 148
My father 左儿子 右儿子
Hadoop2.7.7 HA完全分布式集群搭建
Cocktail_py的博客
05-22 947
-java：jdk-8u201-linux-x64.tar -zookeeper：zookeeper-3.4.14.tar -hadoop:hadoop-2.7.7.tar 步骤1.主机规划 提取码：mk29 内网ip & 主机名 软件 & 运行进程 192.168.18.126 : weyes01 jdk、hadoop : jps NameNode ...
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
最新发布
disy924的博客
06-27 6548
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
基于zookeeper的hadoop ha集群安装过程
04-16
然后，需要配置机器名和主机名，以便于Hadoop集群的节点之间的通信。最后，需要配置ssh免密登录，以便于Hadoop集群的节点之间的无密码登录。 三、 JDK 安装 JDK是Hadoop的运行环境，需要安装JDK 1.7或更高版本。...
Zookeeper集群和Hadoop集群安装（保姆级教程）
aj_shang的博客
03-07 4023
Zookeeper集群和Hadoop集群安装（保姆级教程），集群搭建
查看hadoop集群节点守护进程命令_Hadoop 启动/停止集群和节点的命令
weixin_39712705的博客
02-12 1437
一、集群1.启动/停止Hadoop集群：start-all.shstop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failo...
ssh-copy-id命令的介绍，使免密更方便
qq_43688472的博客
11-11 3万+
ssh-copy-id命令的介绍，使免密更方便 ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下。 达到的功能： ssh-copy-id - 将你的公共密钥填充到一个远程机器上的authorized_keys文件中。 使用模式： ssh-copy-id [-i [identity_file]] [user@]machine 描述： **ssh-copy-id 是一个实用ssh去登陆到远程服务器的脚本（假设使用一个登陆密码， 因此，密码认证应该
ssh-copy-id(1) command
Dablelv 的博客专栏。
12-04 1万+
ssh-copy-id 使用本地可用的密钥授权登录远程计算机。ssh-copy-id 可以把本地主机的公钥复制到远程主机的 authorized_keys 文件上。ssh-copy-id 也会给远程主机的用户主目录（home）和 ~/.ssh 和 ~/.ssh/authorized_keys 设置合适的权限。 3.选项说明 4.常用示例 （1）把本地主机的公钥复制到远程主机。 （2）拷贝本机指定公钥到远程主机。 参考文献 ssh-copy-id(1) — Linux manual page - linu
ssh-copy-id命令详解
互联网
03-27 2218
ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下。 达到的功能： ssh-copy-id - 将你的公共密钥填充到一个远程机器上的authorized_keys文件中。 使用模式： ssh-copy-id [-i [identity_fil...
hadoop集群安装
蓝天之枫
07-14 301
1、先是hadoop安装包的下载与安装   http://hadoop.apache.org/releases.html   我下载的是 hadoop-2.6.5.tar.gz 这个2、cd /home/hadoop   mkdir apps （以后hadoop，hive都解压到这里）   把hadoop-2.6.5.tar.gz安装到上传到/home/hadoop   并解压到 apps 里  ...
hadoop HA启动时 两个namenode节点都是standby，解决办法
s646575997的博客
04-24 3万+
首先你要确定不用ha的时候你的hadoop集群是正常的，不然找错误的方向就偏离了 如果都正常，配置ha 需要zookeeper，先要看看是不是zookeeper没有配置好的问题 如果都正常，在hadoop安装目录执行sbin/hadoop-daemon.sh start zkfc，这句是启动zookeeper选举制度，然后执行bin/hdfs haadmin -transitionToActive
分布式文件系统（2)：Hadoop中的七大节点的作用
向上的信念
02-29 1694
Hadoop逻辑图： 1、NameNode（NN） -NameNode主要功能： 接收客户端的读写服务 -NameNode保存metadate信息包括： （metadate时元数据：除文件内容后的所有数据） 文件owership和permissions 文件包括哪些块 Block保存在哪几个DataNode（由DataNode启动时上报） -NameNode的metadate 信息在...
Hadoop  HA
Simple 专栏
05-13 1879
Hadoop  HA 是什么？ hadoop2.x版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。 HDFS HA背景 HDFS集群中NameNode 存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启动。 影响HDFS集群不可用主要...
ssh-copy-id命令详解 & 使用ssh-keygen和ssh-copy-id三步实现SSH无密码登录
热门推荐
liukuan73的专栏
09-25 6万+
http://blog.csdn.net/john_f_lau/article/details/22303341 http://blog.chinaunix.net/uid-26284395-id-2949145.html ssh-copy-id命令可以把本地的ssh公钥文件安装到远程主机对应的账户下。
Hadoop集群动态新增节点和故障转移配置
Hadoop动态新增节点是Hadoop集群中的一个重要功能，它允许用户在不中断服务的情况下增加或减少节点，从而提高集群的可扩展性和可靠性。本文将详细介绍Hadoop动态新增节点的过程和注意事项。 一、Hadoop动态新增节点...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值