VM VirtualBox 实现 Hadoop 3.3.4集群搭建

已于 2022-10-18 16:58:43 修改
阅读量3.9k 收藏 69
点赞数 6
文章标签： hadoop 大数据 hdfs ssh
于 2022-10-18 16:25:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56407098/article/details/127385882
版权

目录

Hadoop集群搭建

环境准备

虚拟机：Oracle VM VirtualBox
操作系统： Centos8
Hadoop版本：3.3.4
JDK版本：1.8
免密登录（SSH协议）：MobaXterm

安装虚拟机

  1. 打开Oracle VM VirtualBox并新建虚拟机

在这里插入图片描述
请添加图片描述

  1. 内存选择
    请添加图片描述

  2. 选择现在创建虚拟硬盘
    请添加图片描述

  3. 设置虚拟硬盘文件类型
    请添加图片描述

  4. 建议动态分配
    请添加图片描述

  5. 设置虚拟硬盘大小
    请添加图片描述
    注意：创建完先不要打开，先进行环境配置

请添加图片描述

  1. 设置存储
    选择虚拟盘Centos8，用于启动
    请添加图片描述

  2. 设置网络
    这里要设置双网卡，后面才能与主机与外网进行连接
    请添加图片描述请添加图片描述

  3. 启动创建的虚拟机请添加图片描述
    注：虚拟机鼠标到桌面是右Ctrl

  4. 选择语言请添加图片描述

  5. 设置时间

请添加图片描述请添加图片描述

  1. 设置网络
    请添加图片描述
    将网卡打开即可，后面还可更改

  2. 设置root账户
    请添加图片描述请添加图片描述
    可创建新用户也可以不创建，但注意区分密码

  3. 开始安装
    到此，虚拟机创建完成

Linux系统网络配置

  1. 图形界面与字符界面
    图形界面到字符界面：Ctrl+Alt+F2/F3
    字符界面到图形界面：Ctrl+Alt+F1
  2. root权限登录
  3. 主机名
    查看主机名
    hostname

修改主机名，这里改成名字缩写加序号，便于管理

    hostnamectl set-hostname 主机名
  1. 配置IP映射
    vi /etc/hosts

请添加图片描述

保存并退出，底行命令下wq

  1. 配置网络参数
    vi /etc/sysconfig/network-scripts/ifcfg-enpOs8

请添加图片描述

重启虚拟机

    reboot
  • ONBOOT=yes：表示启动这块网卡
  • BOOTPROTO=static：表示静态路由协议，保持IP固定
  • IPADDR：虚拟机IP地址，与前面映射一致
  • GATEWAY：虚拟机网关，一般是将IP地址最后一位数变成 2
  • NETMASK：虚拟机掩码，配置为 255.255.255.0 即可

另一块网卡(ifcfg-enpOs3)保持打开即可

  1. 配置效果验证
    Linux下查看网卡信息
    ifconfig

请添加图片描述
enpOs8下出现自己配置的静态IP，说明配置成功
再执行

    ping www.baidu.com

请添加图片描述
有数据传输说明网络正常，Ctrl+c退出当前命令。
window系统下打开cmd窗口执行如下命令，地址为设置的虚拟机地址。

    ping 192.168.56.201

请添加图片描述
有数据传输说明主机与虚拟机建立联系。
到此虚拟机网络配置完成！

虚拟机克隆

  1. 右击虚拟机 01，点击复制
    请添加图片描述
    请添加图片描述
  2. 按如上步骤设置主机名与IP地址
    注意：与之前设置的 IP 映射一致
  3. 同理，复制好 03 虚拟机后进行同样的配置

SSH 服务配置

  1. 打开 MobaXterm 远程连接工具，点击导航栏上的"Session",然后单击"SSH"
    请添加图片描述
    点击 OK，设置好 MobaXterm 的密码后，输入 root 用户密码后即可实现远程登录。
    请添加图片描述
    到此，虚拟机远程密码登录实现！
    虚拟机在 Oracle VM VirtualBox 即可在 MobaXterm 实现对单台虚拟机的操作。
    同理：对 02，03 虚拟机实现 SSH 免密登录
  2. 删除虚拟机的~/.ssh 目录。
    [root@hsq01 ~]# rm -rf .ssh
    [root@hsq02 ~]# rm -rf .ssh
    [root@hsq03 ~]# rm -rf .ssh
  1. 在 01 虚拟机上新建 SSH 公私密钥对。
    [root@hsq01 ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  1. 实现在 01 虚拟机上免密登录 02，03 虚拟机
    [root@hsq01 ~]# ssh-copy-id root@hsq01
    [root@hsq01 ~]# ssh-copy-id root@hsq02
    [root@hsq01 ~]# ssh-copy-id root@hsq03

提示：出现(yes/no)?,输入yes，Enter 即可。

  1. 验证 SSH 免密登录是否配置成功
    [root@hsq01]# ssh hsq02

请添加图片描述
如此表示登录成功！
输入exit，Enter 即可退回 01 虚拟机。

Hadoop 集群搭建

提示：Window 下安装好的安装包直接通过 MobaXterm 拖入即可

安装JDK

  1. 将 JDK8 安装包放到如下目录。
    请添加图片描述
  2. 安装 JDK。
    [root@hsq01 ~]# tar -zxvf (安装包name)jdk-8u341-linux-x64.tar.gz -C /usr/local/
  1. 配置 JDK 系统环境变量
    [root@hsq01 ~]# vi /etc/profile

请添加图片描述

  1. 使配置文件生效
    [root@hsq01 ~]# source /etc/profile
  1. JDK 环境验证
    java -version

请添加图片描述
到此JDK安装和配置成功。

安装 Hadoop

  1. 将 Hadoop 安装包 放到如下目录。
    请添加图片描述
  2. 安装 Hadoop。
    [root@hsq01 ~]# tar -zxvf (安装包name)/root/hadoop-3.3.4.gz -C /usr/local/
  1. 配置 Hadoop 环境变量
    [root@hsq01 ~]# vi /etc/profile

请添加图片描述

  1. 使配置文件生效
    [root@hsq01 ~]# source /etc/profile
  1. 验证
    [root@hsq01 ~]# hadoop -version

请添加图片描述

Hadoop 集群配置

  1. 修改 hadoop-env.sh 文件
    [root@hsq01 ~]# cd $HADOOP_HOME
    [root@hsq01 hadoop-3.3.4]# cd etc/hadoop
    [root@hsq01 hadoop]# vi hadoop-env.sh

请添加图片描述

  1. 配置 core-site.xml 文件
    [root@hsq01 hadoop]# vi core-site.xml

请添加图片描述

  1. 配置 hdfs-site.xml
    [root@hsq01 hadoop]# vi hdfs-site.xml

请添加图片描述

  1. 配置 mapred-site.xml 文件
    [root@hsq01 hadoop]# vi mapred-site.xml

请添加图片描述

  1. 配置 yarn-site.xml 文件
    [root@hsq01 hadoop]# vi yarn-site.xml

请添加图片描述

  1. 设置从节点，也就是修改 workers 文件
    [root@hsq01 hadoop]# vi workers

请添加图片描述
注意：Hadoop2.版本是执行 vi slaves

  1. 将主节点的配置分发到其他节点
    [root@hsq01 ~]# scp /etc/profile hsq02:/etc/profile
    [root@hsq01 ~]# scp /etc/profile hsq03:/etc/profile
    [root@hsq01 ~]# scp -r /usr/local/hadoop-3.3.4 hsq02:/usr/local/
    [root@hsq01 ~]# scp -r /usr/local/hadoop-3.3.4 hsq03:/usr/local/
    [root@hsq01 ~]# scp -r /usr/local/jdk1.8.0_341 hsq02:/usr/local/
    [root@hsq01 ~]# scp -r /usr/local/jdk1.8.0_341 hsq03:/usr/local/

执行完上述命令后，还需要再 02，03 虚拟机上分别执行 source /etc/profile 指令刷新配置文件。到处,整个集群所有节点都有了 Hadoop 运行所需要的环境和文件，Hadoop 集群安装配置完成。

Hadoop 集群测试

格式化文件系统

    [root@hsq01 ~]# hdfs namenode -format

或者

    [root@hsq01 ~]# hadoop namenode -format

请添加图片描述注意：

  • 格式化只需要在 Hadoop 初次启动前执行一次即可；
  • 出现 has been successfully formatted 表明文件系统成功格式化；
  • 否则，指令错误或者前面配置错误。

启动和查看 Hadoop 进程

  1. 虚拟机01(主节点虚拟机)，启动 Hadoop 进程
    [root@hsq01 ~]# start-dfs.sh
    [root@hsq01 ~]# start-yarn.sh

请添加图片描述

  1. 查看 Hadoop 进程
    ① 在 01 虚拟机中查看。
    请添加图片描述
    ② 在 02 虚拟机中查看
    请添加图片描述
    ③ 在 03 虚拟机中查看
    请添加图片描述
    此时，看到规划的 Hadoop 均已启动，则 Hadoop 全分布式搭建成功。

查看Web界面

  1. 先配置 window 下的 hosts 文件
    请添加图片描述
    请添加图片描述
    用VS Code 打开，用管理员身份保存修改即可。
  2. 关闭虚拟机防火墙
    systemctl stop firewalld.service
    systemctl disable firewalld.service

三台虚拟机都执行。

  1. window 下浏览器访问 http://hsq01:9870 和 http://hsq01:8088
    请添加图片描述
    请添加图片描述
    到此，Hadoop 集群的 HDFS UI 界面和 YARN UI 界面通过 Web 界面均可访问，并且显示正常，便于通过 Web 界面对集群状态进行管理和查看。

简单使用 Hadoop 集群

  1. 在集群主节点 01 上的/root/目录下，使用vi test.txt新建一个 test.txt 文本文件，并编写内容。
    这是我的测试文件
  1. 上传 test.txt 到 HDFS 的 / 目录下。
    [root@hsq01 ~]# hdfs dfs -put test.txt /
  1. 查看上传的文件。
    [root@hsq01 ~]# hdfs dfs -cat /test.txt

请添加图片描述

  1. 通过 Web 界面下载文件，用记事本查看即可。
    刚刚的 Web 界面刷新。
    请添加图片描述
    点击文件下载。
    请添加图片描述
    请添加图片描述
    打开。
    请添加图片描述
    内容一致，表明 Hadoop 搭建成功！！！

补充：不知道你们是否也喜欢新版本，之前使用 JDK 19 也成功搭建 Hadoop 集群，但 Web 界面无法下载上传的文件，没有解决，查阅资料说是使用的 JDK 版本过新(只是 Web 界面那有问题，没有找到合适方法解决)，所以建议使用稳定的 JDK 版本（😔，越新真不一定好用），新版本的 Hadoop 暂时没有遇到问题。

红雨落落语花印
关注
基于Virtualbox虚拟机搭建hadoop集群环境
sinat_28881171的博客
05-16 7101
1.1安装centos7在centos官网下载centos7镜像文件，在Virtualbox软件中导入镜像文件进行安装，本次由于实验环境限制，只安装了三台centos7虚拟机，分别命名为hadoop1,hadoop2,hadoop3，为保证三台虚拟机能够正常通信，三台虚拟机的网络连接方式均设置为仅主机（Host-only）适配器模式，每台虚拟机分配内存为2G，存储为8G。在VrtualBox中搭建...
无中生有-利用VirtualBox搭建HADOOP
Hill的专栏
08-20 628
关于HADOOP，已经不用过多介绍了，我也不打算浪费时间找一些资源粘贴在此。本文讲述的是一个从无到有搭建HADOOP系统的真实案例，既记录了这一历史过程，又希望多多少少能给人一些帮助。 1. 安装Centos虚拟系统 (1). 安装虚拟机VirtualBox，VirtualBox是由ORACLE SUN出品的一款小巧精致、易学实用的虚拟机，而且完全免费。虚拟机的安装过程十分简单，同其它任何应用
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
【九】Hadoop3.3.4HA高可用配置
最新发布
qq_31412425的博客
08-04 879
在 Hadoop 生态系统中，NameNode 是文件系统的中心管理器，负责管理 HDFS 的元数据。与此同时，它还会创建新的检查点（checkpoint），以减少系统重启时的恢复时间。QJM 是管理 JournalNode 的组件，确保在集群中至少一半以上的 JournalNode 写入成功后，操作才被认为是持久化成功的。当前高可用在以下三台节点组成的hadoop3.3.4集群中进行配置，当前已经完成了集群安装，hdfs的验证，并且。基于高可用的配置，主要用于配置 Hadoop 的核心设置，这里重点是。
VirtualBox下安装hadoop
04-01
NULL 博文链接：https://demon3780.iteye.com/blog/1428047
Hadoop学习（二）在VirtualBox上搭建Hadoop集群
zhangcjsyl的博客
03-23 4411
搭建单机hadoop参见上篇文章https://blog.csdn.net/zhangcjsyl/article/details/88322373，虚拟机和ubuntu操作系统的安装参见tps://blog.csdn.net/zhangcjsyl/article/details/8814258，本文在此两篇文章基础上进行搭建Hadoop集群环境。 一、整体规划 一主三从，整理如下： 主机名 ...
【教程】Hadoop3.0.3 通过 VirtualBox Ubuntu 实现伪分布集群搭建
07-31
笔者在公司实习期间所做的一个Hadoop集群搭建的详细教程，在这里分享给大家。此教程包含搭建的每一个步骤，如果有问题可以留言，大家一起讨论。
hadoop虚拟机搭建集群（Oracle VM VirtualBox）
zuoyejun的博客
07-11 805
首先选择一台配置完好的虚拟机作为主机（master) 1.1. 设置virtualbox全局网络设定，设定全局主机虚拟网卡 然后·配置主机网卡 以上是我的配置最后效果如下 2.这样之后只要启动虚拟机进行配置就好 更改/etc/hosts 更改/etc/hostname 更改/etc/network/interfaces 更改完成后记得重启虚拟机 3.复制虚拟机Hadoop01创建其它俩台虚拟机，记得更改虚拟机地址，然后测试虚拟机之间的连通性。 成功如下 4.在主机上配置ssh 5.配
实验一Hadoop大数据集群搭建
11-11
【实验一Hadoop大数据集群搭建】是一门针对大数据导论课程的实践操作，旨在让学生掌握如何在Ubuntu或CentOS操作系统上构建Hadoop集群。实验详细分解了五个主要步骤，涵盖了虚拟机配置、Hadoop和JDK的安装、集群克隆...
virtualBox搭建hadoop集群（1）虚拟机网络配置
陆树勤的博客
05-13 1914
工作环境：    笔记本电脑，win10，wifi上网步骤：1、下载、安装virtualBox2、下载ubuntu系统镜像3、新建虚拟机ubuntu100，网络配置：        网卡1：桥接模式        网卡2：内网模式4、   在win10下查看当前网卡的ip, mask, gateway                cmd > ipconfig 5、 启动虚拟机ubuntu1...
virtualbox-cluster:一个（目前只有 3 个节点）virtualbox 集群，用于快速测试事物
06-23
Virtualbox 集群 一个 3 节点 Virtualbox 集群，用于快速测试分布式应用程序等。 先决条件 在 Ubuntu 中安装需求（用 14.04 测试） 安装虚拟机： sudo apt-get install virtualbox 安装最新版本的 ansible： sudo apt-get install ansible/trusty-backports （如果你的 ubuntu 版本是“可信的”，否则，用你合适的版本替换它） 安装 Vagrant，首先从下载正确的 .deb 文件 ...然后安装它： sudo dpkg -i < deb> 设置和使用 克隆 github 仓库： git clone git@github.com:samuell/virtualbox-cluster.git cd virtualbox-cluster 可选：添加/启用角色
VirtualBox中搭建Hadoop 3.1.1完全分布式集群环境(二)CentOS7中安装及配置Hadoop
ltbook的专栏
01-29 544
一、安装及配置java运行环境 1、安装OpenJDK1.8 #安装jdk #yum install java-1.8.0-openjdk-devel.x86_64 注：这里体验yum软件包管理工具： (1)查找包（1） #yum list | grep telnet-server (2)查找包（2） #yum search MySQL (3)安装MySQL(在CentOS7中叫Mari...
VirtualBox搭建Hadoop2.7.2环境（2）——本机模式
在线笔记
02-03 504
1. 软件 软件/OS 版本 Hadoop 2.7.2 Ubuntu 14.04 (32位） VirtualBox 4.3.24 openjdk 1.7.0_91 ssh - rsync - 2.下载安装软件包1) 下载解压Hadoop 2.7.2 tar -xf hadoop-2.7.2.tar.gz ~/ 2) 命令行安装 sudo
VirtualBox搭建Hadoop2.7.2环境（1）——伪分布式
在线笔记
02-02 773
1. 软件 软件/OS 版本 Hadoop 2.7.2 Ubuntu 14.04 (32位） VirtualBox 4.3.24 openjdk 1.7.0_91 ssh - rsync - 2.下载安装软件包1) 下载解压Hadoop 2.7.2 tar -xf hadoop-2.7.2.tar.gz ~/ 2) 命令行安装 sudo
virtualBox搭建hadoop集群（2）共享文件系统nfs配置
陆树勤的博客
05-13 512
 参考： virtualBox搭建hadoop集群（1）虚拟机网络配置Ubuntu 16.04系统上NFS的安装与使用virtualBox搭建hadoop集群（2）共享文件系统nfs配置工作环境：    笔记本电脑，win10，wifi 上网，xshell 可登录虚拟机 ubuntu100, ubuntu101nfs配置步骤：1. nfs-server ( 虚拟机 ubuntu100 ) 1.1 ...
VirtualBox+Ubuntu12.04搭建全分布式Hadoop环境
IT Student.
03-21 1675
作者：wanyao 出处： http://blog.csdn.net/wanyao1992 引言         最近要做毕业设计，打算需要处理一个大数据，对于Hadoop在大数据上的强大功能也早有耳闻，所以决定先搭建一个Hadoop环境试一试。加之以后研究生方向也是数据挖掘，推荐系统这个方向的，所以掌握Hadoop可算是一个基本功。于是，经过三天左右的时间，将Hadoop终于运行起来了
VirtualBox + CentOS7 搭建 Hadoop 伪分布式模式
吕海洋的博客
04-15 669
一、准备好 CentOS7 的ISO 文件，JDK1.8 安装文件，hadoop-2.7 安装文件 链接：https://pan.baidu.com/s/1lmA0Ai9ivPftJgC6DbpN7g 提取码：iw3g 二、安装CentOS7系统 没有截图的页面默认配置直接下一步 三、CentOS7环境准备 root 登录系统 1、安装 ifconfig 命令用于查看IP 2、将所jdk,hadoop文件传入linux系统 jdk目录：/usr/java ...
使用VirtualBox搭建一套集群环境
技术补完计划
08-15 1438
目录背景环境配置网络安装操作系统配置静态IP开启SSH服务导出虚拟机导入虚拟机参考资料 背景 随着软件系统越来越复杂，出现了分布式、微服务等概念，我经常需要几台计算机相互协作。那么，怎么在自己的个人电脑中搭建一套集群环境，将是一个码农必备技能。 环境 宿主机CPU：4核8线程 宿主机内存：16G 虚拟机软件：Oracle VM VirtualBox 6.1.26 Linux镜像：CentOS-7-x86_64-Minimal-2009.torrent.iso 配置网络 由于需要部署集群，那么虚拟机之间必
virtualbox搭建hadoop集群
03-16
虚拟机软件VirtualBox可以用来搭建Hadoop集群。首先需要在VirtualBox中创建多个虚拟机，每个虚拟机都需要安装操作系统和Hadoop软件。然后在每个虚拟机中配置Hadoop的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等。最后启动Hadoop集群，可以使用命令行或者Web界面进行操作和监控。需要注意的是，虚拟机之间的网络配置也需要进行调整，以便实现Hadoop集群的通信和数据传输。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值