Hadoop配置篇
博主电脑配置信息
一般8核CPU+8GB内存,以上配置皆可
配置教程
Step0 硬件Check
一般mac都是支持的,这步可以跳过
请确认自己的mac:硬件支持64位系统;支持硬件级别的数据执行保护(Hardware D.E.P.);CPU支持虚拟化
Step1 安装VMWare Fusion虚拟机
安装VMWare Fusion(VMWare Workstation仅支持Windows和Linux,这里使用Fusion替代,两个产品均是虚拟环境的模拟器,所以大致一样)
安装VMware Fusion Pro 12.2.1 (mac虚拟机工具)
Step2 VMWare Fusion安装CentOS 7
下载CentOS 7操作系统
下载镜像地址:https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2009.iso
将下载好的 .iso 镜像文件拉到下面安装位置
然后就可以无脑下一步了
介于后续方便同学使用老师的代码或配置,这里建议 全名、用户名、密码均为“hfut”
点击完成,内存和存储大小,在后续调节即可
配置虚拟机名称和虚拟机存储地址
运行配置好的虚拟机,系统会自动初始化配置
进入图形界面后,系统会安装一些必要的软件,请耐心等待
必要软件安装完成会自动的进入系统,输入密码:hfut,进入hfut个人账户
这里就算成功安装了CentOS 7
Step3 VMWare克隆HadoopMaster和HadoopSlave
关闭系统,Power Off
回到VMWare Fusion,点击创建完整克隆
输入系统名称HadoopMaster
重复该操作克隆两个CentOS系统,分别命名为HadoopMaster和HadoopSlave
然后删除CentOS 7虚拟机
双击打开虚拟机,但不要开机,只是显示虚拟窗口
点击上方扳手🔧按钮,进入系统配置设置
进入处理器与内存设置,将内存设置为2G即可,后续也可以按需修改
然后点击上侧显示全部,再进入硬盘设置,将硬盘大小设置为30G即可,同样后续可以按需修改
Step4 VMWare虚拟网络配置和CentOS静态IP配置
将VMWare虚拟网络切换为NAT模式,点击虚拟机界面上方的扳手🔧按钮
选择网络适配器,切换模式为与我的Mac共享,即可切换成NAT模式
将虚拟机集群的IP网段设置为:192.168.79.128 ~ 192.168.79.254
vmware是一款很常用的虚拟机软件,其网络设置也很简单,windows版可以直接使用vmware network editor这个自带的工具来完成,但mac版的vmware也就是vmware fusion就不行了,你会发现在其设置里面找不到network editor这个工具,虽然可以设置vmnet其它的网络,但最常用的vmnet1也就是NAT以及vmnet8也就是bridged这两个是无法设置的
解决方法如下:
打开mac的终端(Terminal),输入sudo nano /Library/Preferences/VMware\ Fusion/networking
其中vmnet1是为host-only方式服务的,vmnet8是为NAT方式服务的。
在answer VNET_8_HOSTONLY_SUBNET 172.16.56.0子网IP这一段,修改为answer VNET_8_HOSTONLY_SUBNET 192.168.79.0,后按^X
后再按回车
保存文件并退出
刷新VMWare网络配置
sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --configure
sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --stop
sudo /Applications/VMware\ Fusion.app/Contents/Library/vmnet-cli --start
检测虚拟机HadoopMaster和HadoopSlave是否能相互通信以及连接到互联网
在HadoopMaster端尝试Ping接HadoopSlave
在HadoopMaster终端,输入ping 192.168.79.130
,当显示有回应时即连接成功,同样在HadoopSlave端尝试Ping接HadoopMaster,在HadoopSlave终端输入ping 192.168.79.129
有回应即可
在HadoopMaster和HadoopSlave端尝试Ping接宿主电脑,打开mac终端,输入ifconfig | grep "inet"
inet 192.168.31.208 netmask 0xffffff00 broadcast 192.168.31.255一行中,指出宿主电脑的IPV4地址为192.168.31.208,在HadoopMaster和HadoopSlave端尝试Ping接宿主电脑,HadoopMaster和HadoopSlave终端中分别输入ping 192.168.31.208
,当出现下图说明连接正常
在HadoopMaster和HadoopSlave端尝试Ping接互联网,HadoopMaster和HadoopSlave终端中分别输入ping www.baidu.com
,当出现下图说明连接正常
Step5 Mac和Linux文件传输
ssh连接HadoopMaster,在mac终端输入ssh hfut@192.168.79.129
,然后密码输入hfut,即可连接
更多Linux命令大全:https://www.runoob.com/linux/linux-command-manual.html
也可以参考我的 Linux命令笔记.md