hadoop3.3.2版本分布式集群搭建1主1从（含虚拟机安装教程）

最新推荐文章于 2023-07-12 15:17:07 发布
最新推荐文章于 2023-07-12 15:17:07 发布
阅读量917 收藏 6
点赞数
分类专栏： hadoop搭建 文章标签： 分布式 linux hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Angzush/article/details/126175253
版权

hadoop分布式集群搭建1主1从（含虚拟机安装教程）

1.搭建虚拟机

下载VMware软件使用软件搭建 VMware官网（傻瓜式安装）

1. 新建虚拟机、并且配置虚拟机

![新建虚拟机](https://img-blog.csdnimg.cn/c08e62cd435a4aeca679c4b9eeb55244.png

在这里插入图片描述
选择默认兼容性
选择你所下载的iso镜像
这里要选择你所下载的iso镜像 我的版本是center os 7 这是我的镜像地址在百度网盘（）

创建用户名
全名： 虚拟机登录界面显示的名称（随意）
用户名： 设置用户名（例：angzush_） 此用户名需跟后续进入linux设置的一致，不然无法切换root用户
密码： 设置用户密码（例：123456）此密码需跟后续进入linux设置的一致

在这里插入图片描述
虚拟机名称：随意命名
位置：虚拟机搭建的位置建议别在c盘

处理器和处理器内核数
处理器和处理器内核数、根据自己电脑配置来

给虚拟机分配内存
给虚拟机分配内存根据自己电脑配置来（一般不要低于1g）
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

自己根据分配磁盘大小我的是100g

在这里插入图片描述

在这里插入图片描述
点击自定义硬件配置指向iso映像文件

在这里插入图片描述
然后点击完成自启动（在这一步一些电脑会出现这个bug）
在这里插入图片描述
这个问题是因为本地电脑未支持虚拟机需要开启支持（重启电脑然后按F2进入BIOS界面一些电脑在Configuration选项里有 intel virtual technology 选项将Disabled 改为 Enabled）
例：
在这里插入图片描述
在这里插入图片描述
然后按F10保存启动就行了

重新打开VMware开启虚拟机
在这里插入图片描述

在这里插入图片描述
进入user 创建用户
在这里插入图片描述
用户一定要和之前在虚拟机创建的一致、我这勾选了Make this user administrator 意思是让该用户拥有admin的权限、然后双击DONE
在这里插入图片描述
在这里插入图片描述
这就算安装完成了、输入密码直接进入（例：123456）
在这里插入图片描述
然后右键 openTerminal 打开控制台、输入ifconfig查看IP地址
在这里插入图片描述

我的ip地址是192.168.11.130、然后用本地电脑ping 这个ip看是否能ping通、接着用虚拟机控制台ping 百度看是否有网

// 在本地电脑DOS命令行ping虚拟机ip 
ping 192.168.11.130
// 在虚拟机控制台ping 百度
ping www.baidu.com

在这里插入图片描述

在这里插入图片描述
出现以上两种代表成功、接下来需要给虚拟机快照
在这里插入图片描述
使用拍摄快照将虚拟机环境保存下来

2. Hadoop搭建

1. 安装java

在java官网下载 Java官网
在这里插入图片描述
然后用xshell 拉入到Linux root目录下
（xshell、xftp下载地址）链接：https://pan.baidu.com/s/1WSun7g70e9LCdpsUkaTJuA 提取码：0326

然后在xshell中解压jdk安装包、tar -zxvf 安装包名称 ,接着使用 mv命令将jdk文件夹移动到 /usr/local 下、并将文件夹名称改为java、所以java的路径为 /usr/local/java
在这里插入图片描述
然后修改全局环境 vim/etc/profile 在最下面添加export

#this is for java environment
export JAVA_HOME=/usr/local/java
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

在这里插入图片描述

#重新加载文件
source /etc/profile

使用 java、javac、java -version 查看环境搭建是否正确在这里插入图片描述

2. 搭建hadoop运行环境

  1. 使用 hostname 查看主机名称
    在这里插入图片描述
    如果不是master建议将主服务器名修改为master
    在这里插入图片描述

    从服务器改为slave1

    #使用该命令
sudo hostnamectl set-hostname master
sudo hostnamectl set-hostname slave1

  2. 修改host文件

    vim /etc/hosts

    在这里插入图片描述
    添加主服务器IP、和从服务器IP及名称
    例：192.168.11.128 master
            192.168.11.129 slave1

  3. ssh免密登录配置
    首先在master上运行、接着一直回车生成密钥

    ssh-keygen -t rsa

    然后将密钥加入到 authorized_keys 文件中

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    然后将authorized_keys文件发送到slave1机器上

    scp authorized_keys root@192.168.11.129:/root/.ssh/

    接着在slave1服务器中重复上面的命令、要将生成的authorized_keys文件发送到master服务器/root/.ssh里
    然后使用 ssh主机名来切换（第一次是需要输入yes但不需要输入密码）

    #切换到slave1
ssh slave1
#切换到master
ssh master

    在这里插入图片描述

  4. 下载Hadoop版本(我下载的是3.3.2版本) Hadoop下载地址
    在这里插入图片描述

  5. 配置Hadoop环境变量
    解压文件、放到/usr/local/改名为hadoop（不一定要是这个位置、最好放在已挂载的data数据文件夹下，这里只是演示用）

    然后配置环境变量

    #我的目录是 /usr/local/hadoop 不一定要是这个位置、最好放在已挂载的data数据文件夹下，这里只是演示用
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

  6. 配置Hadoop文件：

    文件作用
    workers记录所有的数据节点的主机名或 IP 地址
    core-site.xmlHadoop 核心配置
    hdfs-site.xmlHDFS 配置项
    mapred-site.xmlMapReduce 配置项
    yarn-site.xmlYRAN 配置项

    1. 修改core-site.xml

      vim ${HADOOP_HOME}/etc/hadoop/core-site.xml

      <configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/hadoop/hdfs/tmp</value>
        <description>临时存储目录，修改为自己想放的地方、前提是文件夹已被创建</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <description>hdfs默认地址与端口</description>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>

    2. 修改hdfs-site.xml

      vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

      <configuration>
<property>
    <name>dfs.namenode.name.dir</name>
        <value>file:/data/hadoop/hdfs/name</value>
        <description>namenode上存储hdfs名字空间元数据 </description>
     </property>
     <property><!--DataNode存放块数据的本地文件系统路径-->
         <name>dfs.datanode.data.dir</name>
         <value>file:/data/hadoop/hdfs/data</value>
         <description>datanode上数据块的物理存储位置</description>
     </property>
     <property><!--数据需要备份的数量，不能大于集群的机器数量，默认为3-->
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>slave1:50090</value>
        <description>这个主机名设置哪个节点，SecondaryNameNode就启动在哪个服务器上</description>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
        <property>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
        <description>only cofig in clients</description>
    </property>
</configuration>

    3. 修改Mapred-site.xml

      vim ${HADOOP_HOME}/etc/hadoop/mapred-site.xml

      <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/data/hadoop/mapreduce</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/data/hadoop/mapreduce/map</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/data/hadoop/mapreduce/reduce</value>
    </property>
</configuration>

    4. 修改Yarn-site.xml

      vim ${HADOOP_HOME}/etc/hadoop/yarn-site.xml

      <configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    <description>The hostname of the RM.修改为主节点主机名</description>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 因为我是虚拟机可能内存会不够 -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

    5. 然后在 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中各添加javahome

      export JAVA_HOME=/usr/local/java

      在这里插入图片描述

    6. 在workers文件中填写主机名，主从都写

      vim ${HADOOP_HOME}/etc/hadoop/workers

      在这里插入图片描述

    7. 进入Hadoop sbin目录下 cd ${HADOOP_HOME}/sbin 添加start-dfs.sh、stop-dfs.sh头部配置

      HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root

    8. 给start-yarn.sh、stop-yarn.sh添加头部配置

      YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

    然后执行 hadoop version 查看版本信息
    在这里插入图片描述

这是给master配置好了 然后咱们再配置slave1

  1. 将Hadoop整体文件夹拷贝到slave1

    scp /usr/local/hadoop root@192.168.11.129:/usr/local/

  2. 修改 /etc/profile 环境变量、添加之前再master配置的内容、或者可以直接将master 的 proflie文件放到slave1虚拟机上然后重新加载环境

slave1配置完成后切换到master格式化hdfs

hdfs namenode -format

启动hdfs和yarn

#启动hdfs
start-dfs.sh
#关闭hdfs
stop-dfs.sh

master服务器jps显示
slave1服务器jps显示

#启动yarn
start-yarn.sh
#关闭yarn
stop-yarn.sh

master服务器jps显示
slave1服务器jps显示
此刻代表Hadoop 启动成功、接下来咱们访问Hadoop的webUi界面

hdfsWebUi：http://ip:9870
在这里插入图片描述

yarnWebUi：http://ip:8088
在这里插入图片描述

3. BUG集

1. 在hdfsWebUI查看数据目录会报这个错

Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error
在这里插入图片描述

这是因为java 11以后 移除了javax.activation**、咱们需要将jar包放入Hadoop/share/hadoop/common 下
jar包位置:https://jar-download.com/?search_box=javax.activation
在这里插入图片描述
下载解压后放到 cd ${HADOOP_HOME}/share/hadoop/common/ master和slave1 都要、然后重启虚拟机就行

2.可能在启动虚拟机时启动不成功出现错误Failed to load SELinux policy freezing

解决方案：在启动时按e grub编辑页面
在这里插入图片描述
通过键盘的向上或向下箭头，找到linux16那行 在LANG=zh_CN.UTF-8 空格 加上 selinux=0或者 enforcing=0（我是第一个就解决问题了）
在这里插入图片描述
不要退出页面，在此处使用Ctrl+x启动，之后等会就会看到熟悉的页面了。要说一点的是，可能会在下图所示页面卡顿一会，等会就行了

进入系统之后记得把配置修改正确。
Step1: 使用su命令进入管理员权限；
Step2: 修改配置文件/etc/selinux/config/中的“SELINUX”参数
在这里插入图片描述

SELINUX=disable
SELINUXTYPE=targeted
Angzush
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HADOOP(3.3.2)安装
shuergang1的博客
05-25 1351
HADOOP的安装方式，每种方式的安装实现
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
Hadoop3.3.2 完全分布式集群构建步骤【无脑版】
software_0215的专栏
04-15 3385
hadoop 完全分布式 集群 linux
Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆教程
NEKOic的博客
03-15 1万+
目录Ubuntu 20.0.4 Hadoop3.3.2 安装与配置全流程保姆级教程；；ubuntu 更换国内源；；ubuntu java 环境配置；；ubuntu hadoop 安装与配置
hadoop(二：hadoop3.3.0搭建，HDFS shell 命令，MapReduce程序）
最新发布
m0_73905064的博客
07-12 1960
上传1.txt文件(里面是一些单词)到HDFS1.txt。
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其...为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
hadoop cdh版本伪分布式集群搭建图文教程
08-18
hadoop cdh版本伪分布式集群搭建详细图文教程
Hadoop单机伪分布式搭建教程1
08-04
【Hadoop单机伪分布式搭建教程】 一、前提条件 在搭建Hadoop单机伪分布式环境之前，确保已经安装了Java Development Kit (JDK)，因为Hadoop是基于Java编写的，运行时需要JDK环境。你可以参考“Hadoop前置准备”来...
Hadoop3.3.0完全分布式集群搭建详细教程
m0_46698362的博客
03-29 8567
Hadoop3.3.0完全分布式集群搭建 前言 从零开始学习hadoop，记录成长过程，也是为了集群崩了还能搭好。话不多说，我们开始干活了！ 环境： 虚拟机：VMware15 Linux系统：centos7 需要提前准备好的安装包： 1.centos7镜像文件 2.VMware安装包 3.hadoop3.3.0和jdk1.8压缩包 4.远程访问工具xshell和xftp 接下来面对疾风吧 一、VMware安装 一直点击下一步就可以了，如果c盘不够，可以选择更改安装位置。 密钥可以去网上搜 安装完成
linux安装hadoop
热门推荐
licheng70356213的博客
08-03 2万+
1、下载hadoop 到官网http://hadoop.apache.org/releases.html下载hadoop最新版本，我目前能看到最新版本是3.1.0 选择binary，找到http下载链接，随便选择一个都可以下载 选择一个合适的文件夹，执行 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.0/h...
部署hadoop3.3.2详细流程
Indoni的博客
04-17 1106
hadoop3.3.2服务器搭建
Hadoop3.3.2部署常见问题详解
qq_22877119的博客
03-29 2682
Hadoop3.3.2部署常见问题详解编写说明问题说明问题1：root用户启动不了解决办法问题2：hdfs在安全模式解决办法问题3：运行圆周率计算demo范例，提示找不到resource-types.xml解决办法问题4：运行圆周率计算demo范例，提示java找不到解决办法 编写说明 首先按照hadoop官方文档搭建集群： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html 问题
【初学大数据】CentOS7安装hadoop3.3.2完全分布式详细流程
栗子叔叔的博客
04-22 4511
1 使用CentOS7安装hadoop模板机 1.1 CentOS7安装配置流程 1.1.1 创建VMware虚拟机，使用CentOS7系统，命名为hadoop100 补充说明：我这里VMware的虚拟网络设置 VMware子网IP：192.168.10.0， 网关：192.168.10.2 1.1.2 网络配置 1.1.2.1 虚拟机ip配置 进入CentOS7虚拟机中，使用root用户登录，密码：123456 进入后打开命令窗口 先配置网络命令如下（如果vim使用不了，请用vi） vim /etc/sy
java hadoop 教程_Hadoop详细配置教程
weixin_39780962的博客
02-16 403
windows下采用PuTTY或者Xshell连接远程主机mac用终端连接远程linux主机：ssh user@hostnameuser 为 linux 服务器的管理员名称hostname 为 linux 服务器的IP注意：pwd 可显示当前目录所在位置。使用who命令可以查看当前登录用户，使用w命令可以看到所有登录用户信息。查看主机名hostname命令：hostname 或者 uname -n...
Ubuntu22.04 Hadoop3.3.2安装全过程记录
weixin_43843699的博客
09-06 1003
Ubuntu22.04 Hadoop3.3.2安装记录，全过程！！！
hadoop3.3.0集群搭建（详细教程）
Andy86666的博客
03-12 6868
hadoop3.3.0 集群搭建详细教程
Hadoop YARN的伪分布式安装
baidu_25845567的博客
02-29 312
//core-site.xml              fs.defaultFS         hdfs://localhost:9000      //hdfs-site.xml              dfs.replication         1      //mapred-site.xml              mapr
VmWare中Hadoop2.6.5全分布式集群搭建教程
在本文中，我们将探讨如何在VmWare虚拟环境中搭建一个基于Hadoop 2.6.5版本的全分布式集群。Hadoop是一个开源的分布式计算框架，它允许在廉价硬件上处理和存储大量数据。Hadoop的主要目标是提供高可靠性和高容错性的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Angzush

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值