版权所有 © 作者本人 2021。 保留一切权利。
非经本公司书面许可,任何单位、任何个人不得擅自摘抄、复制本文挡内容的部分或全部,并不得以任何形式进行传播。
若各位小伙伴需要转发,请注明出处,感谢您的理解!
注意
您在使用本文档完成相关实验的同时,希望您真的能够从中获取到有价值的信息,帮助您找到动手带来的快感。如有建议和需求,您可通过邮件的方式联系我们,我们将根据您宝贵的建议进行完善,感谢您的理解与支持!
由于文档迭代更新或者其他原因,本文档的内容会不定期的进行更新。除非另外有相关的约定,本文档仅作为实验指导,本文档中的所有陈述、信息和建议不构成任何明示或者暗示的担保。
1.1 Hadoop的实验环境准备工作
1.1.1 基于VMWare WorkStations的免费环境
本次实验的内容,均是基于Linux操作系统来完成的,而我们个人计算机想要完成实验,需要借助于虚拟机化的软件,如:VMWare WorkStations,此次我们的所有实验,均基于VMWare WorkStations 15 Pro来完成。
需要特别说明的是:VMWare WorkStations为付费软件,我们平时做实验是可以的,但是不可用作任何商业用途,若因此被追究法律责任,与文档的编写者无关!
本次基于VMWare WorkStations来完成实验,采用的Linux操作系统为:rhel-server-7.0-x86_64-dvd,若各位平时习惯了使用CentOS系统的操作系统,也可采用CentOS来完成本次的所有实验。
我们的实验预计共需要虚拟机4台,其中3台用来做集群,1台用来做单节点的部署和数据备份节点,具体的规划如表1-1所示。
序号 | 主机名称 | 主机IP地址 | 主机操作系统 | 说明 |
---|---|---|---|---|
01 | hadoop1 | 192.168.52.15 | rhel-server-7.0-x86_64 | 集群中的主节点 |
02 | hadoop2 | 192.168.52.16 | rhel-server-7.0-x86_64 | 集群中的从节点 |
03 | hadoop3 | 192.168.52.17 | rhel-server-7.0-x86_64 | 集群中的从节点 |
04 | hadoop4 | 192.168.52.18 | rhel-server-7.0-x86_64 | 单节点/扩容节点 |
1.1.2 基于HUAWEI公有云的付费环境
若各位小伙伴因自己个人计算机性能不佳等原因,造成无法在自己个人计算机上完成相关的实验,也可在华为公有云上注册一个账号,在公有云“购买”相应的“弹性云服务器”来进行相应的实验,在云服务器采购完成后,可通过CRT等远程连接工具,直接连接华为云提供的弹性IP地址,即可完成相应的操作。但此等操作需要付费,而且不是很方便,所以建议大家慎用。
1.2 创建虚拟机
1.2.1 新建虚拟机
单击“文件”→“新建虚拟机”,打开“新建虚拟机向导”,根据向导完成虚拟机的安装
1.2.2 选择虚拟机的安装类型
在这里我们选择“自定义(高级)”,单击“下一步”按钮继续安装流程
1.2.3 选择虚拟机的硬件兼容性
直接默认的选择即可,无需进行任何内容的修改,单击“下一步”按钮,继续安装流程、
1.2.4 选择客户机操作系统
选择“安装程序光盘镜像文件(iso)”处,单击“浏览”按钮,打开“浏览ISO映像”对话框,在该对话框中找到需要的镜像文件后,单击“打开”按钮
在执行到该步骤后,对话框中会显示“已检测到Red Hat Enterprise Linux 7 64位”的字样,出现该字样后,选择“稍后安装操作系统”,单击“下一步”按钮继续
1.2.5 选择客户机操作系统版本
我们使用的操作系统为Red Hat Enterprise Linux 7 64位,故在此也要选对应版本的操作系统,在“客户机操作系统”处,选择“Linux”,在“版本”的位置选择“Red Hat Enterprise Linux 7 64位”,单击“下一步”按钮继续
1.2.6 命名虚拟机&选择虚拟机安装位置
在“虚拟机名称”处,输入想要为虚拟机起的名字,以便于区分虚拟机,安装位置默认在C盘,但不建议将虚拟机安装在C盘(如果你的C盘特别大,当这句话不存在即可),单击“下一步”按钮继续
1.2.7 确定处理器配置
如果电脑条件允许的情况下,建议处理器数量给2个,如果条件不允许,默认即可
1.2.8 配置虚拟机的内存
若电脑配置允许的情况下,建议给虚拟机配置2GB的内存,即2048MB,单击“下一步”按钮继续安装
1.2.9 配置虚拟机的网络类型
在这里我们先选择“使用网络地址转换(NAT)”模式,等后续进入虚拟机之后,我们再手动修改虚拟机的网络配置,单击“下一步”按钮继续
1.2.10 选择I/O控制器类型
在这里,默认即可,单击“下一步”按钮继续安装
1.2.11 选择虚拟机磁盘类型
在这里,选择默认的“SCSI”类型即可,单击“下一步”按钮,继续安装
1.2.12 选择虚拟机磁盘
选择“创建新虚拟磁盘”,单击“下一步”按钮继续安装
1.2.13 指定虚拟机磁盘容量
虚拟机磁盘容量尽可能给大点,但切记不要勾选“立即分配所有磁盘空间”,单击“下一步”按钮继续安装
1.2.14 指定磁盘文件
该选项,默认即可,单击“下一步”按钮继续安装
1.2.15 自定义硬件
单击“自定义硬件”按钮