CentOS 7上基于完全分布式模式部署Hadoop

已于 2024-05-12 15:45:33 修改
阅读量1.5k 收藏 48
点赞数 48
文章标签： centos hadoop linux
于 2024-03-24 12:55:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73620832/article/details/136983931
版权

                                                                                             

目录

一、创建虚拟机

二、克隆虚拟机

三、配置虚拟机

3.1配置ip映射

3.2配置虚拟机ssh远程登陆及免密登陆

3.2.1修改ssh配置文件

3.2.2在xshell中进行连接

3.2.3配置虚拟机ssh免密登陆功能

四、安装jdk与hadoop

4.1从某些镜像网站上下载jdk1.8与hadoop的压缩包（这里我用的是hadoop3.2.4版本的、可以从清华大学镜像网站上下载这些资源）

4.2解压hadoop与jdk

​编辑

五、修改hadoop配置文件实现基于完全分布式模式

5.1配置hadoop运行时环境

5.2分发hadoop安装目录及环境变量

5.3格式化

5.4、启动

一、创建虚拟机

根据自己的需求设置磁盘大小

二、克隆虚拟机

以下是我克隆好的图片及克隆步骤 

结果：

三、配置虚拟机

3.1配置ip映射

分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“vi /etc/hosts”命令编辑映射文件hosts，在配置文件中添加如下内容：（注意：ip地址是 自己电脑上的）

192.16.13.12 Hadoop1 Hadoop1.hadoop.com
192.16.13.13 Hadoop2 Hadoop2.hadoop.com
192.16.13.14 Hadoop3 Hadoop3.hadoop.com

3.2配置虚拟机ssh远程登陆及免密登陆

在虚拟机中，分别执行“rpm -qa | grep ssh”和“ps -ef | grep sshd”命令，查看当前虚拟机是否安装了SSH服务，以及SSH服务是否启动。

如果虚拟机中没有安装ssh服务则：

输入命令安装：sudo apt-get install openssh-server（虚拟机版本不一样命令也不一样）

启动ssh服务：sudo service ssh start

3.2.1修改ssh配置文件

非必须要修改：

分别在hadoop1与hadoop2、hadoop3 在虚拟机Hadoop2中执行“vi /etc/ssh/sshd_config”命令编辑配置文件sshd_config。

改为PermitRootLogin yes

重启SSH服务 systemctl restart sshd

3.2.2在xshell中进行连接

输入主机ip：

输入用户名密码：

连接成功：

3.2.3配置虚拟机ssh免密登陆功能

在虚拟机Hadoop1中执行“ssh-keygen -t rsa”命令，生成密钥

复制公钥文件

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

之后再测试免密登陆 第一次输入命令可能需要密码 

确保他们直接跳转的时候不需要密码

四、安装jdk与hadoop

4.1从某些镜像网站上下载jdk1.8与hadoop的压缩包（这里我用的是hadoop3.2.4版本的、可以从清华大学镜像网站上下载这些资源）

下载完成都上传到linux虚拟机上(注：要使用专门的软件上传例如Xftp 7，不能直接复制到虚拟机中，否则会后续可能会报错。)

结果：

4.2解压hadoop与jdk

将jdk解压到了 /hmzfy/servers/文件夹中

tar -zxvf jdk-8u241-linux-x64.tar.gz -C /hmzfy/servers/

在虚拟机Hadoop1执行“vi /etc/profile”命令编辑环境变量文件profile，在该文件的底部添加配置JDK系统环境变量

export JAVA_HOME=/hmzfy/servers/jdk1.8.0_241

export PATH=$PATH:$JAVA_HOME/bin

初始化系统环境变量source /etc/profile

将hadoop解压到文件 /hmzfy/servers/hadoop  注意压缩包的位置

tar -zxvf /software/hadoop-3.2.4.tar.gz -C \ /hmzfy/servers/hadoop

配置环境变量同上 打开vi /etc/profile
export JAVA_HOME=/hmzfy/servers/jdk1.8.0_241
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

查看jdk与hadoop时候 下载成功

4.3分别在hadoop1、2、3上关闭防火墙

暂时关闭：systemctl stop firewalld

永久关闭：systemctl disable firewalld

五、修改hadoop配置文件实现基于完全分布式模式

5.1配置hadoop运行时环境

在虚拟机Hadoop1的/hmzfy/servers/hadoop/etc/hadoop/目录，执行“vi hadoop-env.sh”命令，在hadoop-env.sh文件的底部添加如下内容

注意 如果没能成功打开目录那你是以上的目录名写错了可以直接点开目录查看，如果觉得jdk1.8.0_241名字太长可以修改一下文件夹的名字

export JAVA_HOME=/hmzfy/servers/jdk1.8.0_241

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

在虚拟机Hadoop1的/hmzfy/servers/hadoop/etc/hadoop/目录，执行“vi core-site.xml”命令添加如下内容

<property>    

<name>fs.defaultFS</name>  

  <value>hdfs://hadoop1:9000</value>

</property>

<property>    

<name>hadoop.tmp.dir</name>  

  <value>/hmzfy/data/hadoop-3.3.0</value>

</property>

<property>  

 <name>hadoop.http.staticuser.user</name>

 <value>root</value>

</property>

<property>    

<name>hadoop.proxyuser.root.hosts</name>  

  <value>*</value>

</property>

<property>    

<name>hadoop.proxyuser.root.groups</name>  

  <value>*</value>

</property>

<property>    

<name>fs.trash.interval</name>  

  <value>1440</value>

</property>

配置HDFS

在虚拟机Hadoop1的/hmzfy/servers/hadoop/etc/hadoop/目录，执行“vi hdfs-site.xml”命令添加如下内容。

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>    

<name>dfs.namenode.secondary.http-address</name>  

  <value>hadoop2:9868</value>

</property>

配置MapReduce

在虚拟机Hadoop1的/hmzfy/servers/hadoop/etc/hadoop/目录，执行“vi mapred-site.xml”命令添加如下内容。

<property>    

<name>mapreduce.framework.name</name>  

  <value>yarn</value>

</property>

<property>    

<name>mapreduce.jobhistory.address</name>  

  <value>hadoop1:10020</value>

</property>

<property>  

 <name>mapreduce.jobhistory.Webapp.address</name>     <value>hadoop1:19888</value>

</property>

在虚拟机Hadoop1的/hm/servers/hadoop/etc/hadoop/目录，执行“vi yarn-site.xml”命令添加如下内容

<property>    

<name>yarn.resourcemanager.hostname</name>

    <value>hadoop1</value>

</property>

<property>  

  <name>yarn.nodemanager.aux-services</name>    

<value>mapreduce_shuffle</value>

</property>

<property>    

<name>yarn.nodemanager.pmem-check-enabled</name>  

  <value>false</value>

</property>

配置Hadoop从节点服务器

在虚拟机Hadoop1的/hmzfy/servers/hadoop/etc/hadoop/目录，执行“vi workers”命令，将workers文件默认的内容修改为如下内容。

hadoop2

hadoop3

5.2分发hadoop安装目录及环境变量

使用scp命令

scp -r /hmzfy/servers/hadoop root@hadoop2:/hmzfy/servers/

scp -r /hmzfy/servers/hadoop root@hadoop3:/hmzfy/servers/

scp /etc/profile root@hadoop2:/etc

scp /etc/profile root@hadoop3:/etc

5.3格式化

在虚拟机Hadoop1执行“hdfs namenode -format”命令，对基于完全分布式模式部署的Hadoop进行格式化HDFS文件系统的操作

5.4、启动

在hadoop安装目录下执行

启动：sbin/start-all.sh

关闭：sbin/stop-all.sh

博主制作文章需要付出巨大的努力和心血制作不易！！如果对你有帮助的话 不妨点个赞噢！
博主渴望读者的关注和赞赏，因为这是对他们辛勤工作的最好认可和鼓励。

博主希望读者能够欣赏他们的专业知识和独到见解，同时也希望读者能够积极参与讨论，分享自己的看法和经验
文章中也有许多不足之处但希望能帮助大家获取些经验，大家可根据自己的需求自行学习安装 

峰屹小奕
关注
  • 48
    点赞
  • 踩
  • 48
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在CentOS 7下配置Hadoop环境（一）
编程的艺术
03-30 1141
在CentOS 7下配置Hadoop环境（一）Tags： Hadoop所需软件 安装centos 7 配置JDK 配置无密钥登录 配置Hadoop 配置Eclipse Loading…所需软件 centos 7 https://www.centos.org/download/ hadoop 2.7.3 http://hadoop.apache.org/rel
centos 7配置Hadoop环境
gRpc的博客
03-14 663
我第一步先把系统自带的Java环境给彻底卸载了，然后自己从官网下的jdk8, 然后解压到 /opt/module下，然后配置/etc/profile, 末尾添加 export JAVA_HOME=/opt/module/jdk1.8.0_201 export PATH=$PATH:$JAVA_HOME/bin 推出vim, source /etc/profile 一下，这样把jdk配好了。...
CentOS7下Hadoop的环境配置及其安装
qq_45480056的博客
03-02 416
在CentOS7.4环境下安装伪分布式的Hadoop环境（因为只有一台电脑，而且还是在VMware虚拟机上运行，计算机的原因无法带动多个虚拟机） 一、事前准备 1、关闭防火墙 注：如果不关闭防火墙，会出现以下几种情况： ·hdfs 的web 管理页面，打不开该节点的文件浏览页面 ·后台运行脚本（HIVE 的），会出现莫名其妙的假死状态 ·在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正...
Centos7配置hadoop环境教程
qq_44626465的博客
10-12 992
本教程适合在安装好JDK前提下进行 Hadoop安装 Hadoop安装包下载：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/ 我这里使用FileZila把安装包放到 > /opt/app > 注意文件给予的权限↓ > chmod 777 /opt/app > 进入到该目录↓(注意使用 ls 查看是否有该文件) > cd /opt/app &g
10. Hadoop集群搭建 - Hadoop环境变量配置 - 基于CentOS7 -【连载中】
Hadoop集群搭建详细教程
08-10 687
续上一篇文章：9. Hadoop集群搭建 - 配置Java_Home环境变量 - 基于CentOS7 -【连载中】 之前已经把JDK的路径，若未配置请移步上一篇文章 目录解压Hadoop软件包位置查看Hadoop软件包位置配置Hadoop环境变量 解压Hadoop软件包位置 解压命令： tar -zxvf hadoop-2.7.4.tar.gz -C /usr/apps/hadoop/ 这次是进入到该软件包所属目录下解压 [root@master ~]# cd /usr/tar/ [root@mast
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
Hadoop入门之从虚拟机到完全分布式
06-20
最后，完全分布式模式是在多台机器上部署Hadoop，适用于生产环境。 在完全分布式模式下，我们需要创建Hadoop集群的配置文件，如`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，这些文件定义了集群的存储和...
1.Hadoop的安装与配置（伪分布式+完全分布式）.docx
01-25
本教程将指导你如何在虚拟机上安装和配置 Hadoop，包括伪分布式和完全分布式两种模式。 首先，我们需要创建虚拟机。在创建虚拟机的过程中，选择“自定义（高级）”选项，然后依次点击“下一步”按钮，直到你选择...
Hadoop伪分布式集群环境搭建
10-14
在IT行业中，Hadoop是一个广泛使用的开源框架，主要...在实际生产环境中，为了实现更高的可用性和容错性，通常会搭建多节点的完全分布式集群。但作为初学者，伪分布式环境足以满足学习需求，并且可以有效降低入门门槛。
Hadoop简介及Apache Hadoop三种搭建方式
03-30
3. **完全分布式模式（Fully-Distributed Mode）**：这是Hadoop的真实部署模式，适用于生产环境。在这种模式下，Hadoop分布在多台物理或虚拟机上，每个组件都在不同的节点上运行，提供了高可用性和容错性。 在搭建...
Centos7.0系统配置Hadoop集群（以3节点为例）
06-16
Centos7.0系统下配置Hadoop集群（以3节点为例）超详细过程
Hadoop | 【01】Centos 7如何配置Hadoop
weixin_45926547的博客
03-09 2817
文章目录一、安装jdk配置环境变量查看版本检验是否安装成功二、安装hadoop配置环境变量查看版本检验是否安装成功 一、安装jdk jdk-8u321-linux-x64.tar.gz下载地址 打开网页向下滑； # 下载压缩包 wget 网址 # 解压压缩包 tar -zxvf jdk-8u162-linux-x64.tar.gz # 将它移动到用户目录 mv jdk1.8.0_162 /usr/local/ 配置环境变量 打开配置文件 vim /etc/profile 若没有安装
centos7 Hadoop的下载、配置、格式化、启动、环境变量的修改与关闭
lyl18222的博客
11-08 854
（在hadoop-3.1.4 de sbin目录中）通过 echo $JAVA_HOME 获取路径。1.通过xftp下载Hadoop压缩包。再重复2步骤，通过jps查看进程。2.进入xshell解压。宿主机上修改，host文件。在master上操作。
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4408
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
python 分布式部署相关知识点，分布式部署实例，分布式常用框架
L_goodboy的博客
06-15 2308
python 分布式部署相关知识点，分布式部署实例，分布式常用框架
Centos7-hadoop完全分布式搭建
紫藤&code的博客
02-06 1018
准备 两部虚拟机，master,slave(我用的主节点master是Desktop模式的，子节点slave为了节省空间，装的Minimal模式的,但不影响) JDK Hadoop master上安装JDK 下载java包 jdk-8u201-linux-x64.tar.gz 解压 tar -zxvf jdk-8u201-linux-x64.tar.gz 先创建文件夹java mkdir ...
某集团分布式系统部署全记录-概述
大道至简
01-07 431
  该系统需要处理的内容列表如下：   1、Nginx负责负载均衡      Nginx篇地址: http://woaijiadanoo.iteye.com/blog/2352411 2、Keepalived负责Nginx的HA 3、Redis主从节点复制        注：本次只有几个节点使用Redis，故未涉及Redis集群 4、ActiveMQ集群 5、Hadoop集群...
web项目分布式部署整体框架方案
热门推荐
Ben·Chen
11-08 1万+
项目分布式部署整体框架方案 以下有两种方案和一个备选方案: 方案1 : client--&gt;Nginx(openresty)--&gt;gunicorn(通过wsgi启动托管)--?django(web应用服务) 方案2 : Nginx(openresty,upstream)--&gt;supervisor(monitor)--&gt;gunicorn(同uwsgi)--&gt;djang...
CentOS7 linux 详细 Hadoop完全分布式配置与启动
天天开心
02-23 606
因为我是先配置了伪分布式，在此基础上配置完全分布式，所以有些文件不用修改，就没有截图，但是步骤都有的。 配置的内容均以我自己的环境为基础。 1 环境准备 从已有的hadoop01，克隆2台虚拟机分别为hadoop02，hadoop03。 ...
centos7hadoop完全分布式
最新发布
09-10
要将CentOS 7上的Hadoop配置为完全分布式模式，您需要执行以下步骤： 1. 配置网络：确保每台机器都能相互访问，并且可以通过主机名进行通信。您可以使用静态IP或DNS解析来实现。 2. 安装Java：确保每台机器上都安装了Java Development Kit（JDK）。Hadoop需要Java来运行。您可以从Oracle官网下载JDK并按照它们的安装说明进行安装。 3. 安装Hadoop：从Apache Hadoop官方网站下载适用于CentOS 7的Hadoop二进制包。解压缩下载的文件并将其放在每台机器的相同目录下。 4. 配置Hadoop环境变量：编辑每台机器上的`~/.bashrc`文件，并添加以下行来设置Hadoop的环境变量： ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 然后运行`source ~/.bashrc`命令以使更改生效。 5. 配置Hadoop集群：编辑每台机器上的`$HADOOP_HOME/etc/hadoop/core-site.xml`文件，并设置以下属性： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode_hostname:9000</value> </property> </configuration> ``` 在上述配置中，将`namenode_hostname`替换为您的NameNode的主机名。 6. 配置HDFS：编辑每台机器上的`$HADOOP_HOME/etc/hadoop/hdfs-site.xml`文件，并设置以下属性： ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> ``` 这将设置HDFS的副本数为3。您可以根据需要进行调整。 7. 配置YARN：编辑每台机器上的`$HADOOP_HOME/etc/hadoop/yarn-site.xml`文件，并设置以下属性： ```xml <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager_hostname</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 将`resourcemanager_hostname`替换为您的ResourceManager的主机名。 8. 配置Hadoop节点：在每台机器上，编辑`$HADOOP_HOME/etc/hadoop/slaves`文件，并将其设置为包含所有数据节点的主机名或IP地址。 9. 格式化HDFS：在NameNode上执行以下命令以格式化HDFS： ```bash hdfs namenode -format ``` 10. 启动Hadoop集群：在NameNode上执行以下命令以启动Hadoop集群： ```bash start-dfs.sh start-yarn.sh ``` 这将启动HDFS和YARN。 11. 验证配置：通过访问Hadoop管理界面或执行一些MapReduce任务来验证Hadoop配置是否正确。 请注意，以上步骤是一个基本的指南，您可能需要根据您的特定环境和需求进行调整。确保在执行任何更改之前备份您的配置文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值