Hadoop完全分布式环境搭建(最新最细)

最新推荐文章于 2024-04-27 01:37:32 发布
最新推荐文章于 2024-04-27 01:37:32 发布
阅读量327 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ylyl602/article/details/109724988
版权

一、前期准备

1.1前期准备

（1）准备三台虚拟机(这里以CentOS8为例)，虚拟机配置要求如下：
单台虚拟机：内存4G，硬盘50G，集群规划：

hadoop1hadoop2hadoop3
HDFSNameNodeSecondaryNameNode
HDFSDataNodeDataNodeDataNode
YarnResourcemanager
YarnNodeManagerNodeManagerNodeManager

（2）安装必要环境（三台虚拟机都需要安装），如下。

[yl@hadoop1 ~]# sudo yum install -y epel-release
[yl@hadoop1 ~]# sudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop git

(3) 修改虚拟机的静态IP（三台虚拟机都需要操作）。

[yl@hadoop1 ~]# sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

如下

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
#一般安装完默认是dhcp，改成static
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=cc281c00-0d44-4b58-821e-87c0cd1be41d
DEVICE=ens33
ONBOOT=yes
#ip地址
IPADDR=192.168.1.11
#网关
GATEWAY=192.168.1.2
#DNS
DNS1=192.168.1.2

（4）查看Linux虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8。
在这里插入图片描述
在这里插入图片描述
（5）查看Windows系统适配器VMware Network Adapter VMnet8的IP地址。
在这里插入图片描述
（6）保证Linux文件中IP地址、Linux虚拟网络编辑器地址和Windows系统VM8网络IP地址相同。

1.2 修改主机名

（1）修改主机名称，添加自己本虚拟机的主机名，保存。

[yl@hadoop1 ~]$ sudo vim /etc/hostname

在这里插入图片描述
（2）配置主机名称映射。

[yl@hadoop1 ~]# sudo vim /etc/hosts

添加如下内容

192.168.1.11 hadoop1
192.168.1.22 hadoop2
192.168.1.33 hadoop3

（3）修改window10/7的主机映射文件（hosts文件）。
（a）进入C:\Windows\System32\drivers\etc路径；
（b）拷贝hosts文件到桌面；
（c）打开桌面hosts文件并添加如下内容；

192.168.1.11 hadoop1
192.168.1.22 hadoop2
192.168.1.33 hadoop3

（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件。
（4）关闭防火墙

[yl@hadoop1 ~]# sudo systemctl stop firewalld
[yl@hadoop1 ~]# sudo systemctl disable firewalld

（5）创建一个个人用户

[yl@hadoop1 ~]# sudo useradd yl
[yl@hadoop1 ~]# sudo passwd 123456

（6）配置yl用户具有root权限(在root用户下操作)

vim /etc/sudoers

在root下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
yl   ALL=(ALL)     ALL

（7）在/opt目录下创建module、software文件夹

[yl@hadoop1 opt]# sudo mkdir module
[yl@hadoop1 opt]# sudo mkdir software

修改module、software文件夹的所有者cd

[yl@hadoop1 opt]# sudo mkdir /opt/module /opt/software
[yl@hadoop1 opt]# sudo chown yl:yl /opt/module /opt/software

（8）以上操作三台虚拟机都需要执行操作一遍。

二.安装JDK

1.将JDK安装包上传到software中，解压到module文件，解压命令：

[yl@hadoop1 software]# tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/module/

2.配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件

[yl@hadoop1 module]# sudo vim /etc/profile.d/my_env.sh

添加如下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_261
export PATH=$PATH:$JAVA_HOME/bin

（2）保存后退出
（3）重启xshell窗口，或者输入如下命令，让环境变量生效。

source /etc/profile

（4）测试JDK是否安装成功

[yl@hadoop1 module]# java -version

如果能看到以下结果，则Java正常安装
java version “1.8.0_261”
（5）以上操作三台虚拟机都需要执行操作一遍。

三.安装hadoop

1.将hadoop安装包上传到software中，解压到module文件，解压命令：

[yl@hadoop1 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2.查看是否解压成功

[yl@hadoop1 software]$ ls /opt/module/
hadoop-3.1.3

3.将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[yl@hadoop1 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3

（2）打开/etc/profile.d/my_env.sh文件

[yl@hadoop1 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

在文件末尾添加hadoop路径：（shift+g）

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）让修改后的文件生效

[yl@ hadoop1 hadoop-3.1.3]$ source /etc/profile

（4）测试是否安装成功

[yl@hadoop1 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

（5）以上操作三台虚拟机都需要执行操作一遍。

四.hadoop核心配置

1.进入配置文件夹

[yl@hadoop1 .ssh]$ cd /opt/module/hadoop-3.1.3/etc/hadoop/

（1）配置core-site.xml

[yl@hadoop1 hadoop]$ vim core-site.xml

文件内容如下：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>
    <property>
        <name>hadoop.proxyuser.yl.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.yl.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>yl</value>
    </property>
</configuration>

（2）配置hdfs-site.xml

[yl@hadoop1 hadoop]$ vim hdfs-site.xml

文件内容如下：

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop3:9868</value>
    </property>
<!-- 指定HDFS副本的数量 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
</configuration>

（3）配置yarn-site.xml

[yl@hadoop1 hadoop]$ vim yarn-site.xml

文件内容如下：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop2</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

（4）配置mapred-site.xml

[yl@hadoop1 hadoop]$ vim mapred-site.xml

文件内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

五.配置SSH免密登录

1.配置SSH免密登录
（1）生成公钥和私钥：

[yl@hadoop1 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（2）将公钥拷贝到要免密登录的目标机器上

[yl@hadoop1 .ssh]$ ssh-copy-id hadoop1
[yl@hadoop1 .ssh]$ ssh-copy-id hadoop2
[yl@hadoop1 .ssh]$ ssh-copy-id hadoop3

注意：
还需要在hadoop2、hadoop3上采用root账号，配置一下无密登录到hadoop1、hadoop2、hadoop3；
还需要在hadoop2、hadoop3上采用yl账号配置一下无密登录到hadoop1、hadoop2、hadoop3服务器上。
2.将hadoop配置文件分发到集群各个虚拟机上。

[yl@hadoop1 ~]$ rsync -av /opt/module/hadoop/etc/hadoop yl@hadoop2:/opt/module/hadoop/etc/hadoop 
[yl@hadoop1 ~]$ rsync -av /opt/module/hadoop/etc/hadoop yl@hadoop3:/opt/module/hadoop/etc/hadoop

3.配置workers

[yl@hadoop1 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：
hadoop1
hadoop2
hadoop3

六.启动集群

（1）如果集群是第一次启动，需要在hadoop1节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[yl@hadoop1 hadoop-3.1.3]$ bin/hdfs namenode -format

（2）启动HDFS

[yl@hadoop1 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了ResourceManager的节点（hadoop103）启动YARN

[yl@hadoop1 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web端查看HDFS的Web页面：http://hadoop1:9870/
（5）Web端查看SecondaryNameNode的Web页面：http://hadoop3:9868/status.html

小巷夜雨か
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop完全分布式环境搭建.docx
02-17
【Hadoop完全分布式环境搭建】 在大数据处理领域，Hadoop是一个关键的开源框架，它提供了在分布式计算环境中存储和处理海量数据的能力。本教程将详细介绍如何在虚拟机中搭建一个完全分布式Hadoop环境，适用于学习者...
Hadoop集群环境搭建（VirtualBox-7.0.6、Xshell-7、连接集群）
weixin_43595573的博客
04-20 1719
输入：vi /etc/sysconfig/network-scripts/ifcfg-enp0s3，按 i 键进行插入，修改完后，按esc键退出插入模式，再shift键+冒号键，输入wq！输入ipconfig，查询本机IP网段，等会虚拟会用到，注意是以太网适配器 以太网，不是以太网适配器 以太网2.或3，如果你是无线网络适配器，也找没有数字后缀的。导入完成后，选择node01，点击设置，点击网络，进入网卡1，把连接方式改为桥接网卡，点击小箭头，把混杂模式改为全部允许，三台node都是如此。
Hadoop集群完全分布式搭建
qq_52884581的博客
09-29 4212
hadoop集群分布式的搭建
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
最新发布
2401_84160041的博客
04-27 307
3.检验JDK： 输入javac： 输入 java -version： 4.配置hosts ip地址根据自己虚拟机的ip与名称进行修改5.做免密登录： 输入代码后根据提示输入yes或者密码 6.分发jdk: 7.在bigdata1将Hadoop解压到/opt/module 8.添加Hadoop的环境变量 三台虚拟机都要配置 刷新环境变量 9.配置文件在hadoop-3.1.3/etc/hadoop里面 ①core-site.xml ②hdfs-site.xml ③yarn-site.xml
Hadoop格式化时报错，已解决！
weixin_45757669的博客
04-02 5168
Re-format filesystem in Storage Directory root= /usr/local/hadoop/tmp/dfs/name; location= null ? (Y or N) Y
Hadoop完全分子式环境搭建—问题及解决办法
保持饥饿 保持愚蠢
01-25 168
Hadoop完全分布式环境搭建 ps:本人是按照尚硅谷的教程搭建的，版本hadoop2.7，centos版本6，一台主机，两台从机。 一．版本问题 1.尽量使用hadoop版本2，尽量不要使用最新版本3。因为会出现无法解决的问题，老师和网上给的配置方案基本都是基于hadoop2.6或hadoop2.7，所有用hadoop3在群起集群时会出现问题。 二．虚拟机准备工作 1.关闭虚拟机防火墙，以免出现因防火墙出现的问题(比如后面时间同步时)： 查看防火墙状态：service iptables status 永久
Hadoop2.完全分布式搭建
海涛高软
05-03 669
虚拟机版本：VM15 Linux系统： CentOS6.5 其它工具：Xshell WinSCPSecureCRT 8.5 关于局域网配置 、主机名映射 、上网 、免密配置 、jdk安装 、环境变量配置 ，参考下面这篇文章 https://blog.csdn.net/qq_15267341/article/details/89630802 vi /et...
Hadoop完全分布式环境搭建
12-09
Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建Hadoop完全分布式环境搭建
Hadoop完全分布式环境搭建步骤
06-11
Hadoop完全分布式环境搭建文档，绝对原创，并且本人亲自验证并使用，图文并茂详细介绍了hadoop完全分布式环境搭建所有步骤，条例格式清楚，不能成功的，请给我留言!将给与在线支持！
【Hadoop篇02】Hadoop完全分布式环境搭建1
08-04
在本文中，我们将深入探讨如何搭建一个Hadoop完全分布式环境，这是Hadoop篇的第二部分。Hadoop是一个开源的分布式计算框架，它允许在大规模集群上处理和存储大量数据。本文将介绍如何配置和部署Hadoop的各个组件，...
hadoop伪分布式搭建(超级详细)
10-11
hadoop伪分布式搭建(从虚拟机设置到搭建完成)，包含每一个步骤，照做即可，内有hadoop2.2.0安装包。
Hadoop 2.4 完全分布式环境安装与配置
01-30
Hadoop 2.4 完全分布式环境安装与配置
hadoop完全分布式搭建（centos）
weixin_51797136的博客
11-12 1151
搭建hadoop完全分布式系统（centos）
CentOS8 安装 hadoop3.2.1 完全分布式集群
05-20 3449
下载地址： https://hadoop.apache.org/releases.html 上传并解压 文档地址： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 一、准备工作 1.设置机器名及对应IP，CentOS8 修改主机名，配置对应IP 2.安装配置jdk8+，CentOS8 安装JDK8 jdk-8u192-linux-x64.tar.gz 3..
Hadoop完全分布式搭建
QiSorry
03-02 4873
文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结 前言 必备条件： 电脑内存最好8G以上 虚拟机ip为静态ip且可以 ping 通外网 提示：若满足以上条件，下面案例可供参考 一、虚.
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4930
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
一文快速学会hadoop完全分布式集群搭建，很详细
wish_you_luck的博客
11-20 5236
hadoop的启动模式有三种，一个是本地模式，一个是伪分布式模式，还有一个是集群模式。为了学习hadoop，这里需要搭建一个完全分布式的集群。希望你先把准备工作给看一下，因为我们的配置都是前后一致的。本文因为想让大家学习一下集群分发脚本，所以在模板虚拟机里面少放了很多东西，以后会写一个快速搭建集群的教程。在下一大点，我们用了一个分发脚本。在使用分发脚本传输文件时，必不可少的一项流程是登录到目标机器,也就是要输入密码(可以先试一试第五点的集群分发脚本来体会为什么要设置ssh免密登录)，
Hadoop完全分布式集群搭建（超详细）
qq_52868045的博客
11-22 5272
hadoop完全分布式，超详细的部署步骤。
Hadoop完全分布式安装教程
03-20
Hadoop完全分布式安装教程

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值