Hadoop配置 for Mac (CentOS7)

VIP文章 _NOMAD_

已于 2022-03-29 09:00:57 修改

阅读量622

点赞数 2

文章标签： hadoop

于 2022-03-28 11:30:51 首次发布

本文链接：https://blog.csdn.net/weixin_39710299/article/details/123790367

版权

Hadoop配置篇

在这里插入图片描述

博主电脑配置信息

一般8核CPU+8GB内存，以上配置皆可
在这里插入图片描述

配置教程

Step0 硬件Check

一般mac都是支持的，这步可以跳过

请确认自己的mac：硬件支持64位系统；支持硬件级别的数据执行保护（Hardware D.E.P.）；CPU支持虚拟化

Step1 安装VMWare Fusion虚拟机

安装VMWare Fusion（VMWare Workstation仅支持Windows和Linux，这里使用Fusion替代，两个产品均是虚拟环境的模拟器，所以大致一样）

安装VMware Fusion Pro 12.2.1 (mac虚拟机工具)

Step2 VMWare Fusion安装CentOS 7

下载CentOS 7操作系统
下载镜像地址：https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso

将下载好的 .iso 镜像文件拉到下面安装位置

然后就可以无脑下一步了

介于后续方便同学使用老师的代码或配置，这里建议全名、用户名、密码均为“hfut”

点击完成，内存和存储大小，在后续调节即可

配置虚拟机名称和虚拟机存储地址

运行配置好的虚拟机，系统会自动初始化配置

进入图形界面后，系统会安装一些必要的软件，请耐心等待

必要软件安装完成会自动的进入系统，输入密码：hfut，进入hfut个人账户

这里就算成功安装了CentOS 7

Step3 VMWare克隆HadoopMaster和HadoopSlave

关闭系统，Power Off

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eyjoDtHv-1648436733923)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 16.56.30.png)]

回到VMWare Fusion，点击创建完整克隆

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MGgfX0yT-1648436733925)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 16.57.47.png)]

输入系统名称HadoopMaster

重复该操作克隆两个CentOS系统，分别命名为HadoopMaster和HadoopSlave

然后删除CentOS 7虚拟机

双击打开虚拟机，但不要开机，只是显示虚拟窗口

点击上方扳手🔧按钮，进入系统配置设置

进入处理器与内存设置，将内存设置为2G即可，后续也可以按需修改

然后点击上侧显示全部，再进入硬盘设置，将硬盘大小设置为30G即可，同样后续可以按需修改

Step4 VMWare虚拟网络配置和CentOS静态IP配置

将VMWare虚拟网络切换为NAT模式，点击虚拟机界面上方的扳手🔧按钮

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FyahYn4V-1648436733926)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 17.24.30.png)]

选择网络适配器，切换模式为与我的Mac共享，即可切换成NAT模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q8j4RkY3-1648436733926)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 17.25.39.png)]

将虚拟机集群的IP网段设置为：192.168.79.128 ～ 192.168.79.254

vmware是一款很常用的虚拟机软件，其网络设置也很简单，windows版可以直接使用vmware network editor这个自带的工具来完成，但mac版的vmware也就是vmware fusion就不行了，你会发现在其设置里面找不到network editor这个工具，虽然可以设置vmnet其它的网络，但最常用的vmnet1也就是NAT以及vmnet8也就是bridged这两个是无法设置的

解决方法如下：

打开mac的终端(Terminal)，输入sudo nano /Library/Preferences/VMware\ Fusion/networking

其中vmnet1是为host-only方式服务的，vmnet8是为NAT方式服务的。

在answer VNET_8_HOSTONLY_SUBNET 172.16.56.0子网IP这一段，修改为answer VNET_8_HOSTONLY_SUBNET 192.168.79.0，后按^X后再按回车保存文件并退出

刷新VMWare网络配置

sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --configure
sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --stop
sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --start

检测虚拟机HadoopMaster和HadoopSlave是否能相互通信以及连接到互联网

在HadoopMaster端尝试Ping接HadoopSlave

在HadoopMaster终端，输入ping 192.168.79.130，当显示有回应时即连接成功，同样在HadoopSlave端尝试Ping接HadoopMaster，在HadoopSlave终端输入ping 192.168.79.129有回应即可

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Jy7zE6R4-1648436733927)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 19.29.28.png)]

在HadoopMaster和HadoopSlave端尝试Ping接宿主电脑，打开mac终端，输入ifconfig | grep "inet"

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ekbdtVWz-1648436733928)(/Users/gujihao/Library/Application Support/typora-user-images/截屏2022-03-21 19.33.28.png)]

inet 192.168.31.208 netmask 0xffffff00 broadcast 192.168.31.255一行中，指出宿主电脑的IPV4地址为192.168.31.208，在HadoopMaster和HadoopSlave端尝试Ping接宿主电脑，HadoopMaster和HadoopSlave终端中分别输入ping 192.168.31.208,当出现下图说明连接正常