在Centos 7上对Hadoop三种模式(伪分布式 分布式 分布式ha)的搭建 详细配置

最新推荐文章于 2021-07-18 23:55:04 发布
最新推荐文章于 2021-07-18 23:55:04 发布
阅读量261 收藏 2
点赞数 1
分类专栏： 大数据 文章标签： hadoop 分布式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42948399/article/details/114334102
版权

在Centos 7上对Hadoop三种模式的搭建 详细配置

Hadoop的三种模式搭建

三种模式：伪分布式、分布式、分布式HA
在安装这三种模式之前 先要安装Jdk如已安装可以跳过此步

JDK的安装

首先去官网下载Linux版本的.tar.gz压缩包
官网下载链接：官网下载
我这里下载的是jdk-8u191-linux-x64.tar.gz
将下载好的压缩包放入linux内
如果使用Xshell连接的linux可以使用rz命令将windows上的文件上传到linux下（rz需要安装lrzsz 安装命令yum install lrzsz）
进入jdk-8u191-linux-x64.tar.gz所在目录
用tar命令解压到/root下

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /root

解压后得到jdk1.8.0_191
用mv命令修改jdk1.8.0_191文件名为java

mv jdk1.8.0_191 java

然后配置环境变量

vi /etc/profile

在首行添加java的环境变量

export JAVA_HOME=/root/java
exporth PATH=$PATH:$JAVA_HOME/bin

在这里插入图片描述
保存退出 然后刷新配置
source /etc/profile
输入命令验证java是否配置成功
java -version
在这里插入图片描述

一、Hadoop伪分布式

在操作之前请先确保java成功安装

先下载hadoop的压缩包：官网下载
我这里下载的是2.6.0版本的hadoop-2.6.0.tar.gz
下载完毕后 将hadoop-2.6.0.tar.gz放入linux内
进入hadoop-2.6.0.tar.gz所在目录解压到root下

tar -zxvf hadoop-2.6.0.tar.gz -C /root

配置文件

进入配置文件所在目录

cd /root/hadoop/etc/hadoop
配置core-site.xml
vi core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://ip:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/hadoop/tmp</value>
        </property>
</configuration>

配置hdfs-site.xml

vi hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

配置mapred-site.xml

将 mapred-site.xml.template拷贝成mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

配置yarn-site.xml

vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

到这里就配置完成了
创建备份文件夹

mkdir /root/hadoop/tmp

初始化Hadoop

hadoop namenode -format

INFO util.ExitUtil: Exiting with status 0 结果为0表示成
在这里插入图片描述
关闭防火墙

systemctl stop firewalld
systemctl disable firewalld

启动Hadoop

start-dfs.sh
start-yarn.sh

输入jps可看到
在这里插入图片描述

二、Hadoop分布式

在操作之前请先确保java成功安装
先准备三台机器

机器名IP
master172.16.1.2
slave1172.16.1.3
slave2172.16.1.4

为三台机器ip添加名称（三台都要操作）

vim /etc/hosts

在文件底部新增

172.16.1.2 master
172.16.1.3 slave1
172.16.1.4 slave2

关闭三台机器的防火墙（三台都要操作）

systemctl stop firewalld
systemctl disable firewalld

配置三台机器之间的免密登录
master上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

slave1上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id slave1
ssh-copy-id slave2

slave2上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id slave1
ssh-copy-id slave2

同步三台机器时钟（三台都要操作）

yum install ntpdate
ntpdate cn.pool.ntp.org

在master上解压hadoop
下载hadoop的压缩包：官网下载
我这里下载的是2.6.0版本的hadoop-2.6.0.tar.gz
下载完毕后 将hadoop-2.6.0.tar.gz放入master内
进入hadoop-2.6.0.tar.gz所在目录解压到root下

tar -zxvf hadoop-2.6.0.tar.gz -C /root

配置文件

进入配置文件所在目录

cd /root/hadoop/etc/hadoop
配置core-site.xml
vi core-site.xml

<configuration>
 		<property>     
 			<name>fs.defaultFS</name>
 			<value>hdfs://master:9000</value>
 		</property>
 		<property>
 			<name>hadoop.tmp.dir</name>
 			<value>/root/hadoop/tmp</value>
 		</property>
    </configuration>

配置hdfs-site.xml（分布式下该项可以不配）

使用默认配置dfs.replication默认值为3

vi hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
</configuration>

配置mapred-site.xml

将 mapred-site.xml.template拷贝成mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

配置yarn-site.xml

vi yarn-site.xml

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置slaves
vim hadoop/etc/hadoop/slaves
修改成
master
slave1
slave2

到这里就配置完成了
将hadoop jdk 环境变量拷贝到 slave1 slave2
scp -r hadoop root@slave1:/root/
scp -r hadoop root@slave2:/root/
scp /etc/profile root@slave1:/etc/
scp /etc/profile root@slave2:/etc/

在slave1 slave2上刷新环境变量

source /etc/profile

在master上初始化Hadoop

hadoop namenode -format

INFO util.ExitUtil: Exiting with status 0 结果为0表示成
在这里插入图片描述
启动Hadoop

start-dfs.sh
start-yarn.sh

输入jps可看到
在这里插入图片描述

三、Hadoop分布式HA

在操作之前请先确保java成功安装

前置

先准备三台机器

机器名IP
master172.16.1.2
slave1172.16.1.3
slave2172.16.1.4

为三台机器ip添加名称（三台都要操作）

vim /etc/hosts

在文件底部新增

172.16.1.2 master
172.16.1.3 slave1
172.16.1.4 slave2

关闭三台机器的防火墙（三台都要操作）

systemctl stop firewalld
systemctl disable firewalld

配置三台机器之间的免密登录
master上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

slave1上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id slave1
ssh-copy-id slave2

slave2上:

ssh-keygen -b 1024 -t rsa
ssh-copy-id slave1
ssh-copy-id slave2

同步三台机器时钟（三台都要操作）

yum install ntpdate
ntpdate cn.pool.ntp.org

安装Zookeeper

安装HA需要zookeeper组件
先去zookeeper官网下载压缩包:官网下载
下载tar.gz的文件包放入master主机内
解压zookeeper包到root下

tar -zxvf zookeeper-3.4.5.tar.gz -C ~/

更改文件名

mv zookeeper-3.4.5 zookeeper

进入到zookeeper/conf目录下

cd zookeeper/conf

把zoo_sample.cfg复制成zoo.cfg

cp zoo_sample.cfg zoo.cfg

vim 编辑zoo.cfg

vim zoo.cfg

修改
dataDir=/root/zookeeper/data
新增
dataLogDir=/root/zookeeper/logs
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

在这里插入图片描述

在zookeeper目录下新建data和logs文件

cd zookeeper
mkdir data
mkdir logs

进入data目录下新建myid文件 填入1

cd data
echo "1">myid

给Zookeeper添加环境变量

vim /etc/profile

新增
export ZK_HOME=/root/zookeeper
export PATH= P A T H : PATH: PATH:ZK_HOME/bin
在这里插入图片描述
刷新环境变量

source /etc/profile

此时Zokeeper的配置已经完成
将zookeeper拷贝到slave1 slave2上

scp -r /root/zookeeper root@slave1:~/
scp -r /root/zookeeper root@slave2:~/
scp /etc/profile root@slave1:~/
scp /etc/profile root@slave2:~/

在slave1 slave2上也刷新环境变量

source /etc/profile

修改slave1 slave2 zookeeper/data/myid的内容
slave1:

cd zookeeper/data
echo "2">miyd

slave2:

cd zookeeper/data
echo "3">miyd

三台机器启动Zookeeper

zkServer.sh start

查看运行结果

zkServer.sh status

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
最终结果应该为两台follower一台leader

安装Hadoop

在master上解压hadoop
下载hadoop的压缩包：官网下载
我这里下载的是2.6.0版本的hadoop-2.6.0.tar.gz
下载完毕后 将hadoop-2.6.0.tar.gz放入master内
进入hadoop-2.6.0.tar.gz所在目录解压到root下

tar -zxvf hadoop-2.6.0.tar.gz -C /root

mv hadoop-2.6.0.tar.gz hadoop

配置文件

进入配置文件所在目录

cd /root/hadoop/etc/hadoop
配置core-site.xml
vi core-site.xml

<configuration>
    <!-- 指定hdfs的nameservice为nameService1 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定hadoop临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/data/hadoopdata</value>
    </property>

    <!-- 指定zookeeper地址 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
</configuration>

配置hdfs-site.xml

<configuration>
<!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>

    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>master,slave1</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.master</name>
        <value>master:9000</value>
    </property>
        <property>
        <name>dfs.namenode.http-address.mycluster.master</name>
        <value>master:50070</value>
    </property>
        <property>
        <name>dfs.namenode.rpc-address.mycluster.slave1</name>
        <value>slave1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.slave1</name>
        <value>slave1:50070</value>
    </property>


<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
    </property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/root/hadoop/data/journaldata</value>
    </property>
<!-- 开启NameNode失败自动切换 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
<!-- 配置失败自动切换实现方式 -->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
        shell(/bin/true)
        </value>
    </property>
<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>
</configuration>

配置mapred-site.xml

将 mapred-site.xml.template拷贝成mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

配置yarn-site.xml

vi yarn-site.xml

<configuration>
<!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
<!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>
<!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
<!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>
<!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置slaves

vim hadoop/etc/hadoop/slaves

修改成
master
slave1
slave2

到这里就配置完成了
拷贝文件到slave1 slave2

scp -r hadoop root@slave1:~/
scp -r hadoop root@slave2:~/
scp /etc/profile root@slave1:/etc/
scp /etc/profile root@slave2:/etc/

在slave1 slave2上刷新环境变量

source /etc/profile

在master上启动 journalnode

hadoop-daemons.sh start journalnode

在这里插入图片描述

初始化master namemode

hadoop namenode -format

INFO util.ExitUtil: Exiting with status 0 结果为0表示成
在这里插入图片描述

注册ZNode

hdfs zkfc -formatZK

在这里插入图片描述

启动hdfs
start-dfs.sh
启动yarn
start-yarn.sh

slave1上同步元数据
hdfs namenode -bootstrapStandby
在这里插入图片描述

在slave1上启动 namemode
hadoop-daemon.sh start namenode

输入jps可看到
master
在这里插入图片描述
slave1

在这里插入图片描述
slave2
在这里插入图片描述
验证故障自动转移节点是否配置成功
用电脑浏览器访问master/172.16.1.2:50070 master节点为active（启用）
在这里插入图片描述

访问slave1/172.16.1.3:50070 slave1节点为standby（关闭）
在这里插入图片描述

此时关闭master的namenode

hadoop-daemon.sh stop namenode

在这里插入图片描述
slave1变为active
在这里插入图片描述
大功告成！

qqi漆
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
安装伪分布式Hadoop (Mac OS X)
weixin_41717034的博客
04-22 571
目录 Hadoop安装配置介绍 伪分布式Hadoop安装 1.安装Java JDK 2. SSH 配置 3. 安装Hadoop 官网下载 HDFS配置 4.添加Hadoop环境变量 5.运行Hadoop + 查看远端 格式化一个新的分布式文件系统DFS（即对namenode初始化） 启动dfs文件系统(开启保护进程) 查看远端（Hadoop端口） 关闭伪分布式 6...
hadoop三种模式的配置与启动
weixin_38074756的博客
10-08 378
hadoop三种模式的简单配置一、local模式1.安装jdk2.解压hadoop包到安装目录3./etc/profile中配置jdk和hadoop环境变量（如有需要）4.检查hadoop是否安装成功二、伪分布式运行模式1.配置并启动hdfs1、按照上述local模式安装步骤2、hadoop的安装目录下的/etc/hadoop/hadoop-env.sh中修改java的环境变量3、hadoop的安装目录下的/etc/hadoop/目录下修改配置如下4、启动hdfs2.配置并启动yarn1、hadoop的安装
Hadoop使用学习笔记（1）
12-13 265
Hadoop使用学习笔记 1.Hadoop安装与基本概念 Hadoop发行版本地址 1.1环境配置需求 本文是用的Hadoop版本是最新的2.7.2发行版。 本文分两个机器环境，分别是研发环境和测试环境： 环境配置： 操作系统： LSB Ver...
CDH5.8.4-Hadoop2.6.0安常见报错及解决方法
SimpleSimpleSimples的博客
01-26 974
1.cdh2.6.0安装完成时报错 启动hadoop集群时报错，如下: 20/01/23 22:27:03 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 原因：导致该问题的改版本是...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：... 一、 环境说明 主机名 Zookeeper ...(QuorumPeerMain) ...Controller
CentOS上搭建Hadoop2.5.2_CentOS搭建hadoop_云计算_源码
10-01
通过以上步骤，你可以在CentOS 7.0上成功搭建Hadoop 2.5.2集群，为云计算框架提供基础平台。这个过程涵盖了Linux系统管理、Java环境配置、分布式文件系统HDFS的搭建、资源调度系统YARN的配置以及MapReduce编程模型的...
hadoop2.7.2集群_centos7 环境搭建
最新发布
09-15
本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群，同时也会提及到Java开发工具集（JDK）8u144的安装，因为Hadoop运行需要Java环境的支持。 首先，我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...
Hadoop入门之从虚拟机到完全分布式
06-20
伪分布式模式则在单台机器上模拟分布式环境，每个Hadoop进程都作为一个单独的Java进程运行。最后，完全分布式模式是在多台机器上部署Hadoop，适用于生产环境。 在完全分布式模式下，我们需要创建Hadoop集群的配置...
Linux_RedHat、CentOS上搭建Hadoop集群
08-13
在搭建Hadoop集群时，有三种工作模式可供选择： 1. **单机模式**：这是最基础的模式，Hadoop作为一个独立的Java进程运行，便于开发者进行调试和测试。 2. **伪分布式模式**：在单节点上模拟分布式环境，每个Hadoop...
Hadoop：Hadoop单机伪分布式的安装和配置
皮皮blog
05-06 9455
http://blog.csdn.net/pipisorry/article/details/51331734 本文内容：使用docker配置hadoop单机伪分布式开发环境 本教程配置环境： docker (virtual box / virtual machine或者直接用ubuntu14.04都ok!，建议还是用虚拟机，docker太难搞了，没有配置的官方文件) ubuntu
hadoop安装配置
wulantian的专栏
07-25 4338
//hadoop安装配置---coco # by coco #2014-07-25 本资料主要介绍hadoop的安装配置过程。如有不懂的请联系：qq:120890945 本次环境以3台虚拟机为主： 192.168.8.96   db96 192.168.8.98   db98 192.168.8.99   db99 1. hive是建立在hadoop基础之上
hadoop学习（一）
qq_41253208的博客
03-03 520
一、运行环境：centos7 虚拟机的安装可以在网上搜 为了后面少一些麻烦，建议各位在装虚拟机的时候连接方式选桥接 二、需要的软件： jdk(linux版本的）链接：https://pan.baidu.com/s/1K1VJrQI9tSgwszOt1tfUgw 提取码：x8cd hadoop 链接：https://pan.baidu.com/s/1YNBYrAm0z0d5AWexbgqKog 提取...
hadoop 常见错误
hello
02-01 1万+
一、执行start-dfs.sh后，datenode没有启动 完全分布式模式下， 一开始slaves配置如下： master.apache.org slave1.apache.org slave2.apache.org master.apache.org既做namenode，也做datanode。后来我修改了此文件， slave1.apac
伪分布式hadoop安装（linux）
qq_41934990的博客
08-08 813
文档介绍：hadoop文件配置 http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html 下载hadoop压缩包------》hadoop.apache.org 将下载好的hadoop压缩包山传到linux上，可以上传到linux远程的图形化界面 解压hadoop压缩包...
启动hadoop 2.6遇到的datanode启动不了
热门推荐
zhangt85的专栏
12-22 4万+
查看日志如下: 2014-12-22 12:08:27,264 INFO org.mortbay.log: Started HttpServer2$SelectChannelConnectorWithSafeStartup@0.0.0.0:50075 2014-12-22 12:08:27,692 INFO org.apache.hadoop.hdfs.server.datanode.Data
Hadoop组件搭建-Hadoop伪分布式
qqi漆的博客
07-18 139
在操作之前请先确保java成功安装 解压Hadoop 将hadoop-2.6.0.tar.gz解压到root下 tar -zxvf hadoop-2.6.0.tar.gz -C /root 把hadoop解压出来的文件改名成hadoop mv hadoop-2.6.0 hadoop 配置Hadoop环境变量 export HADOOP_HOME=/root/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 刷新环境变量 source /
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值