超详细hadoop分布式搭建

最新推荐文章于 2023-08-31 00:00:00 发布
最新推荐文章于 2023-08-31 00:00:00 发布
阅读量281 收藏 1
点赞数 3
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44366140/article/details/116990014
版权

基本要求

- 操作系统: win10/win7

- 虚拟软件: VMware14

- 虚拟机:

　　　　　　主机名    　　 IP

　　　　　　master　　10.0.33.90                

　　　　　　slave1 　　10.0.33.91             

　　　　　　slave2 　　10.0.33.92

- 软件包存储路径: /opt/software/

- 软件安装路径:   /opt/apps/

- Jdk:   jdk-8u221-linux-x64.tar.gz

- Hadoop:   hadoop-2.7.6.tar.gz

- 用户: root


切记，切记，切记：实际生产环境中，我们不会使用root用户来搭建和管理hdfs，而是使用普通用户。这里 为了方便学习，我们才使用的root用户。

 ps:如果需要相关安装软件或者安装包在下方评论即可

hdfs和yarn的相关守护进程的布局如下:

master	：namenode	datanode	ResourceManager	nodemanager 
slave1	：datanode	nodemanager 	secondarynamenode	 
slave2	：datanode	nodemanager

环境要求

（1） 三台机器的防火墙必须是关闭的. 
（2） 确保三台机器的网络配置畅通(NAT模式，静态IP，主机名的配置) 
（3） 确保/etc/hosts文件配置了ip和hostname的映射关系 
（4） 确保配置了三台机器的免密登陆认证（克隆会更加方便） 
（5） 确保所有机器时间同步 
（6） jdk和hadoop的环境变量配置
a.防火墙关闭确认


[root@master ~]# systemctl stop firewalld 
[root@master ~]# systemctl disable firewalld
#最好也把selinux关闭掉，这是linux系统的一个安全机制，进入文件中将SELINUX设置为disabled 
[root@master ~]# vi /etc/selinux/config 
......... SELINUX=disabled            .........

情况说明： 如果安装好三台机器，三台机器的防火墙都需要单独关闭和设置开机不启动。如果准备使用 克隆方式，只关闭master机器即可。下面的配置也是如此。

b.静态IP和主机名配置

配置静态IP（确保NAT模式）
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0
…
BOOTPROTO=static #将dhcp改为static

ONBOOT=yes #将no改为yes
IPADDR=192.168.10.200 #添加IPADDR属性和ip地址
PREFIX=24 #添加NETMASK=255.255.255.0或者PREFIX=24 GATEWAY=192.168.10.2 #添加网关GATEWAY
DNS1=192.168.10.2 #添加DNS1和备份DNS
DNS2=8.8.8.8
DNS3=114.114.114.114
重启网络服务
[root@master ~]# systemctl restart network 或者
[root@master ~]# service network restart
修改主机名(如果修改过，请略过这一步)
[root@localhost ~]# hostnamectl set-hostname master 或者
[root@localhost ~]# vi /etc/hostname master
注意：配置完ip和主机名后，最好reboot一下

配置/etc/hosts文件

- 进入hosts文件，配置一下ip和hostname 
[root@master ~]# sudo vi /etc/hosts 127.0.0.1   
localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         
localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.81.200 master     <=添加本机的静态IP和本机的主机名之间的映射关系

免密登陆认证

-1. 使用rsa加密技术，生成公钥和私钥。一路回车即可

[root@master ~]# cd ~

[root@master ~]# ssh-keygen -t rsa

-2. 进入~/.ssh目录下，将id_rsa.pub复制一份文件，文件名为authorized_keys。保证此文件的权限 是600

[root@master ~]# cd ~/.ssh

[root@master .ssh]# cp id_rsa.pub authorized_keys

或者使用ssh-copy-id命令

[root@master .ssh]# ssh-copy-id -i id_ras.pub root@master

-3. 进行验证

[hadoop@master .ssh]# ssh localhost

[hadoop@master .ssh]# ssh master

[hadoop@master .ssh]# ssh 0.0.0.0 #输入yes后，不提示输入密码就对了
注意：三台机器提前安装好的情况下，需要同步公钥文件。如果使用克隆技术。那么使用同一套密钥对就方便 多了。

环境搭建：jdk的安装

1）检查一下是否已经安装过或者系统内置JDK,如果有内置的，将其卸载

[root@master ~]# rpm -qa | grep jdk #如果有,请卸载 
[root@master ~]# rpm -e xxxxxxxx --nodeps      #将查询到的内置jdk代替xxxxxxx
2）上传jdk1.8

可使用shell工具上传

将jdk-8u221-linux-x64.tar.gz上传到/opt/software/目录中

3）解压jdk到/opt/apps/下

[root@master ~]# cd /opt/software 
[root@master software]# tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/apps
4）更名jdk（更名是为了方便配置环境变量，也可不更名）

[root@master ~]# cd /opt/apps
[root@master apps]# mv jdk1.8.0_221/  jdk
5）配置jdk的环境变量

[root@master apps]# vi /etc/profile
  
#jdk environment 
在最后添加上以下两行

export JAVA_HOME=/opt/apps/jdk export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
复制代码
6）更新环境变量

[root@master apps]# source /etc/profile
7））验证jdk环境

[root@master apps]# java -version 
[root@master apps]# javac

环境搭建：Hadoop的安装步骤

1）上传并解压Hadoop

将hadoop软件包上传到/opt/software目录下，然后解压到/opt/apps/目录下 
[root@master ~]# cd /opt/software/ 
[root@master software]# tar -zxvf hadoop-2.7.6.tar.gz -C /opt/apps/
2）更名hadoop

[root@master software]# cd /opt/apps 
[root@master apps]# mv hadoop-2.7.6/ hadoop
3）配置hadoop的环境变量

[root@master apps]# vi /etc/profile
  
#hadoop environment 
在最后加入以下两行
export HADOOP_HOME=/opt/apps/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
复制代码
4）使当前配置生效

[root@master apps]# source /etc/profile
5）验证hadoop

[root@master apps]# hadoop version
如果出现hadoop版本，则代表本地模式已经安装成功。

完全分布式的相关文件的配置

$HADOOP_HOME/etc/hadoop/目录下的用户自定义配置文件

- core-site.xml 
- hdfs-site.xml 
- mapred-site.xml   复制mapred-site.xml.template而来 
- yarn-site.xml

1）配置core-site.xml文件

[root@master ~]# cd $HADOOP_HOME/etc/hadoop/
[root@master hadoop]# vi core-site.xml 
<configuration>     
    <!-- hdfs的地址名称：schame,ip,port-->    
    <property>      
        <name>fs.defaultFS</name>        
        <value>hdfs://master:8020</value>    
    </property>     
<!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 -->        
    <property>        
        <name>hadoop.tmp.dir</name>                
         <value>/opt/apps/hadoop/tmp</value>    
    </property> 
</configuration>

2）配置hdfs-site.xml文件

[root@master hadoop]# vi core-site.xml 
<configuration>    
<!-- namenode守护进程管理的元数据文件fsimage存储的位置-->    
　　<property>        
　　　　<name>dfs.namenode.name.dir</name>        
　　　　<value>file://${hadoop.tmp.dir}/dfs/name</value>    
　　</property>    
<!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->    
　　<property>        
　　　　<name>dfs.datanode.data.dir</name>        
　　　　<value>file://${hadoop.tmp.dir}/dfs/data</value>    
　　</property>    
<!-- 块的副本数-->    
　　<property>        
　　　　<name>dfs.replication</name>       
 　　　　<value>3</value>    
　　</property>    
<!-- 块的大小-->   

　<property>   
     　<name>dfs.blocksize</name>
       <value>134217728</value>   
 　</property>    
<!-- secondarynamenode守护进程的http地址：主机名和端口号。参考守护进程布局-->    
　　<property>        
　　　　<name>dfs.namenode.secondary.http-address</name>        
　　　　<value>slave1:50090</value>    
</property>
 </configuration>

3）配置mapred-site.xml文件

[root@master hadoop]# cp mapred-site.xml.template  mapred-site.xml
[root@master hadoop]# vi mapred-site.xml 
<configuration>
    <!-- 指定mapreduce使用yarn资源管理器-->    
　　<property>        
　　　　<name>mapreduce.framework.name</name>        
　　　　<value>yarn</value>    
　　</property>    
　　<!-- 配置作业历史服务器的地址-->    
　　<property>        
　　　　<name>mapreduce.jobhistory.address</name>        
　　　　<value>master:10020</value>    
　　</property>    
　　<!-- 配置作业历史服务器的http地址-->    
　　<property>        
　　　　<name>mapreduce.jobhistory.webapp.address</name>        
　　　　<value>master:19888</value>    
　　</property> 
</configuration>

4）配置hadoop-site.xml文件

[root@master hadoop]# vi yarn-site.xml <configuration>    
　　<!-- 指定yarn的shuffle技术-->    
　　<property>        
　　　　<name>yarn.nodemanager.aux-services</name>       
　　　　<value>mapreduce_shuffle</value>    
　　</property>    
　　<!-- 指定resourcemanager的主机名-->    
　　<property>        
　　　　<name>yarn.resourcemanager.hostname</name>        
　　　　<value>master</value>    
　　</property> 
</configuration>

5）配置hadoop-env.sh脚本文件和yarn-env.sh文件

[root@master hadoop]# vi hadoop-env.sh 

 The java implementation to use. 
export JAVA_HOME=/opt/apps/jdk 

[root@master hadoop]# vi yarn-env.sh 
 
 some Java parameters 
export JAVA_HOME=/opt/apps/jdk

6）配置slaves文件，此文件用于指定datanode守护进程所在的机器节点主机名

[root@master hadoop]# vi slaves 
master 
slave1 
slave2

配置另外两台机器

当把master机器上的hadoop的相关文件配置完毕后，我们有以下两种方式来选择配置另外几台机器的 hadoop.

方法一：scp同步

提示：本方法适用于多台虚拟机已经提前搭建出来的场景。
--1. 同步hadoop到slave节点上 
[root@master ~]# cd /opt/apps 
[root@master apps]# scp -r ./hadoop slave1:/opt/apps/ 
[root@master apps]# scp -r ./hadoop slave2:/opt/apps/
--2. 同步/etc/profile到slave节点上 
[root@master apps]# scp /etc/profile slave1:/etc/ 
[root@master apps]# scp /etc/profile slave2:/etc/
--3. 如果slave节点上的jdk也没有安装，别忘记同步jdk。 
--4. 检查是否同步了/etc/hosts文件

方法二：克隆master虚拟机

提示：本方法适用于还没有安装slave虚拟机的场景。通过克隆master节点的方式，来克隆一个slave1和 slave2机器节点，这种方式就不用重复安装环境和配置文件了，效率非常高，节省了大部分时间(免密认证的 秘钥对都是相同的一套)。

--1. 打开一个新克隆出来的虚拟机，修改主机名 
[root@master ~]# hostnamectl set-hostname slave1 
--2. 修改ip地址 
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eh0 
　　IPADDR=192.168.10.201    <==修改为slave1对应的ip地址 
--3. 重启网络服务 
[root@master ~]# systemctl restart network 
--4. 其他新克隆的虚拟机重复以上1~3步 
--5. 免密登陆的验证    
从master机器上，连接其他的每一个节点，验证免密是否好使，同时去掉第一次的询问步骤
--6. 建议：每台机器在重启网络服务后，好reboot一下
复制代码
6.格式化NameNode

1）在master机器上运行命令

[root@master ~]# hdfs namenode -format
2）格式化的相关信息解读

–1. 生成一个集群唯一标识符:clusterid
–2. 生成一个块池唯一标识符:BlockPoolId
–3. 生成namenode进程管理内容(fsimage)的存储路径： 默认配置文件属性hadoop.tmp.dir指定的路径下生成dfs/name目录
–4. 生成镜像文件fsimage，记录分布式文件系统根路径的元数据
–5. 其他信息都可以查看一下，比如块的副本数，集群的fsOwner等
复制代码
7.启动集群

1）启动脚本和关闭脚本介绍

复制代码

  1. 启动脚本
    　　– start-dfs.sh :用于启动hdfs集群的脚本
    　　– start-yarn.sh :用于启动yarn守护进程
    　　– start-all.sh :用于启动hdfs和yarn

  2. 关闭脚本
    　　– stop-dfs.sh :用于关闭hdfs集群的脚本
    　　– stop-yarn.sh :用于关闭yarn守护进程
    　　– stop-all.sh :用于关闭hdfs和yarn

  3. 单个守护进程脚本
    　　– hadoop-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    　　– hadoop-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    　　reg:
    　　　　hadoop-daemon.sh [start|stop] [namenode|datanode|secondarynamenode]
    　　– yarn-daemons.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    　　– yarn-daemon.sh :用于单独启动或关闭hdfs的某一个守护进程的脚本
    　　reg:
    　　　　yarn-daemon.sh [start|stop] [resourcemanager|nodemanager]
    复制代码
    2）jps查看进程

master进程：

在这里插入图片描述

slave1进程：
在这里插入图片描述

slave2进程：

在这里插入图片描述

3）webui查看

（需配置本机的hosts文件）

在浏览器打开：
（1）http://10.0.33.90:50070
（2）http://10.0.33.90.200:8088
如有意见或者问题欢迎在评论区指正！！！

IU小迷弟
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
专栏目录
Hadoop分布式
bingoabin
11-13 32万+
应用场景 之前介绍了单节点，部署伪分布式hadoop集群，可以作为自己使用，但是真正投入生产环境，伪分布式是不够的，仅仅作为个人研究测试使用，此时我们需要部署搭建hadoop完全分布式集群，此hadoop性能将更加强悍，满足生产需求，下面就搭建Apache Hadoop2.6.0环境演示。 操作步骤1. 配置网络[每个节点] 网络配置博客 2. 关闭防火墙[每个节点] # systemctl
Hadoop分布式集群搭建（完整版）
web15285868498的博客
06-05 759
VMware和Centos7下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117793482XShell和Xftp下载安装教程：https://blog.csdn.net/m0_59209350/article/details/117877235安装一台虚拟机作为模板：IP地址：192.168.10.100主机名：hadoop100内存：4G硬盘：50G对安装好的VMware进行网络配置，方便虚拟机联网，本次设置选择NAT模式，需要宿主机的
Hadoop完全分布式环境搭建
xiaoxsen的博客
05-26 2万+
最近在学习hadoop，经过几番折腾终于把分布式环境搭建成功，这里总结一下搭建过程和过程中遇到的问题与解决方案。 一、准备工作 1.下载vmvare软件，配置NAT网络模式 NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。 2.安装centos虚拟机 安装步骤这里不细讲，可以参考https://blog.csdn.......
Hadoop完全分布式搭建
QiSorry
03-02 4897
文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结 前言 必备条件： 电脑内存最好8G以上 虚拟机ip为静态ip且可以 ping 通外网 提示：若满足以上条件，下面案例可供参考 一、虚.
搭建分布式hadoop
zhangming1013的专栏
04-27 412
搭建hadoop-2.5.0.tar.gz，下载地址：http://pan.baidu.com/s/1pKWe1L5 集群规划：三台服务器：hadoop-senior.orange.com、hadoop-senior.banana.com和hadoop-senior.pear.com 主机名 banana resource datanode node
Hadoop分布式搭建
盲流子的博客
06-03 266
1. 环境准备 准备三台centos7虚拟机，设置静态IP(192.168.1.103,192.168.1.104,192.168.1.105) 主机名称分别用hadoop3，hadoop4，hadoop5命名 三台机器安装好java环境，并准备好上一篇博客中编译好的hadoop压缩包 2. 集群规划部署 HDFS有三个组件： NameNode（很重要，占资源）部署在一个节点上（企业级不会将其他模块与NameNode 部署在一起），用于查找数据块 DataNode为实际存放数据的模块，
hadoop分布式搭建
最新发布
12-24
以下是hadoop分布式搭建的详细步骤： 1、配置动态网络 在hadoop分布式搭建中，网络配置是非常重要的。我们需要将网络配置文件修改为onboot=yes，以便能够自动获取IP地址。同时，我们需要restart网络服务以使修改...
centos7安装和基础环境配置：Hadoop分布式搭建前期准备工作.docx
08-01
CentOS7安装和基础环境配置：Hadoop分布式搭建前期准备工作 CentOS7是 Linux 操作系统的发行版本之一，广泛应用于服务器和超级计算机领域。Hadoop是一个基于分布式计算的开源框架，广泛应用于大数据处理和分析领域...
超详细解说Hadoop伪分布式搭建1
08-03
【超详细解说Hadoop伪分布式搭建1】 在深入讲解Hadoop伪分布式搭建的过程中，首先要明白，伪分布式模式是在单个节点上模拟分布式环境，适用于学习和测试Hadoop的配置及功能，无需多台机器。以下是详细的搭建步骤： ...
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
03-05
Hadoop伪分布式、完全分布式搭建和测试（详细版）-附件资源
hadoop-完全分布式搭建
大帅的博客
02-26 3247
此处一共设置三台服务器用于hadoop完全分布式搭建 设置为： 192.168.31.112 hadoop01 192.168.31.227 hadoop02 192.168.31.180 hadoop03 以192.168.31.112作为namenode为例 同伪分布式搭建步骤基本类似，多出一个时间同步 A.工作环境准备（三台主机都修改）： 工具： JDK：从oracle官网下载 Hadoop:Apache Hadoop官网下载 1.配置IP地址 一般情况下在安装虚拟机的时候会打开网络自动分配IP
Hadoop 完全分布式搭建（超详细）
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
完全分布式部署Hadoop-04
kxj19980524的博客
04-04 621
hadoop运行环境搭建-01https://blog.csdn.net/kxj19980524/article/details/88934339 首先准备三台机器,按照上面的做法搭建三台. 配置NTP时间服务器https://blog.csdn.net/kxj19980524/article/details/89433153 scp远程操作 我103机器的software下创建了个文件夹...
hadoop 2.7.4全分布式配置
m0_38100952的博客
08-31 502
hadoop全分布式配置，hadoop正常启动，出现某些节点的nodemanager无法启动，logs显示内存不足。
分布式集群——搭建Hadoop环境以及相关的Hadoop介绍
张小鱼的博客
08-31 2601
本文主要介绍hadoop的相关概念以及在Linux上面配置Hadoop的具体操作。镜像文件实际是存放的目录结构、文件属性等相关信息，是NameNode中关于 元数据的镜像。它是在NameNode启动时对整个文件系统的快照。edits：编辑日志文件,记录对文件或者目录的修改信息，比如删除目录，修改文件等信 息。编辑日志一般命名规则是“edits_*”，它在NameNode启动后，记录对文件系统的改动 序列。
大数据学习——Hadoop集群完全分布式的搭建（超详细）
热门推荐
JunLeon的博客
09-27 4万+
Hadoop集群完全分布式的搭建 JunLeon——go big or go home 目录 Hadoop集群完全分布式的搭建 1、分布式集群的网络和节点规划 （1）网络规划 （2）节点规划 2、分布式集群的环境准备 （1）克隆虚拟机 （2）网络配置、修改主机名、配置网络映射 3、设置SSH无密码登录节点 4、安装配置Hadoop集群 （配置文件时均在hadoop的主目录下操作） （2）配置分布式集群环境（6个配置文件） （3）分发Hadoop集群安装目录及文件 （4）启动和停
大数据晋级之路（1）Centos7上搭建全分布式Hadoop集群
互联网的修罗场
11-06 1870
本文介绍搭建一个Namenode两个DataNode的Hadoop全分布式集群的全部步骤及方法。具体环境如下： 环境准备 3个Centos7虚拟机或者3个在一个局域网内的实际Centos7机器，机器上已安装JDK1.8，至于不会安装Centos7或者JDK1.8的同学可以自行网上百度教程，不为此文重点； 关闭禁用防火墙，主要是方便hadoop集群内部相互之间可以顺利访问，方便于web端通过...
一步步教学Hadoop完全分布式部署
萤火之光，照亮前行
02-28 578
在Mac电脑下利用parallel desktop 创建4台虚拟机master、data1、data2、data3进行hadoop完全分布式的安装以及环境配置 我的主机系统是macOS,虚拟机的系统是CentOS. (可以先配置伪分布式Hadoop试一试,然后再在这个基础上部署完全分布式Hadoop) 一、把single Node cluster 复制到data1 1,克隆主机data1 右击主机...
Hadoop----HDFS操作说明
weixin_45383965的博客
10-12 117
详述Hadoop分布式集群搭建步骤
"本文详细介绍了如何搭建Hadoop分布式集群，包括所需软件、节点安排、创建Hadoop用户、配置网络环境以及后续的Hadoop配置和启动步骤。" 在搭建Hadoop分布式集群时，首先需要准备必要的软件。在这个案例中，选择了...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值