工欲善其事必先利其器,在经过大量的理论学习以后,需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境,在家也可以随意的练习。而自学大数据的同学,也可以进行本地练习,大数据是一门偏实践的学科,在找工作之前进行一些实践操作,也更利于对大数据知识的理解。
本文将从头开始详细的记录整个大数据环境的搭建过程,本文所使用的笔记本电脑内存为16G,将使用CDH6.3.2管理整个大数据集群。
本文共四个部分,一定要保证每一个部分都安装成功以后再向下进行。
首先要安装好VMwareWorkstation软件,随后新建三台centos系统的虚拟机,在三台虚拟机中搭建CDH大数据管理工具,最后使用CDH搭建大数据集群。
一、安装VMwareWorkstation虚拟化软件
首先我们使用VMwareWorkstation来快速的进行虚拟机的新建。VMwareWorkstation是一款功能强大的桌面虚拟计算机软件,我们使用的版本为VMwareWorkstation 16.1.2。
1、打开安装程序,点击下一步。
2、选择接受条款,点击下一步。
3、修改安装路径,增强型虚拟键盘主要作用是提高安全性,这里不勾选。点击下一步。
4、将检查更新和体验提升都去掉,点击下一步。
5、快捷方式看自己的情况选择吧,点击下一步。
6、点击安装,开始进行虚拟机安装。
7、安装完成后点击 许可证 用注册机生成的密钥进行产品激活。
8、点击完成,大功告成。VMwareWorkstation就成功安装并激活了。
这样,第一部分VMwareWorkstation软件已经搭建完成。
二、新建三台Centos虚拟机
首先准备Centos7的镜像文件,CentOS-7-x86_64-DVD-1908.iso。
请注意三台虚拟机的CPU初次设置为1核,内存设置为4G(这样虚拟机占用12G,留出一些空间),硬盘为20G,这些以后也是可以修改的。
新建虚拟机
1、打开VMwareWorkstation,选择新建虚拟机
2、选择自定义安装,点击下一步。
3、这里不用修改,是VMware的版本和一些限制说明,点击下一步。
4、这里先选择稍后安装操作系统,点击下一步。
5、选择系统为Linux,版本为Centos7 64位,点击下一步。
6、修改虚拟机名称,位置,点击下一步。
7、CPU默认为1核,点击下一步。
8、内存设置为4GB,点击下一步。
9、网络使用默认的NAT,点击下一步。
10、I/O 使用默认
11、磁盘类型默认
12、创建新的虚拟磁盘
13、设置磁盘大小为20GB
14、默认文件名
15、最后可以看到这些设置,点击完成。
16、虚拟机新建完成,可以继续编辑虚拟机,将安装镜像挂载。
安装Centos系统
1、开启此虚拟机
注意:点击进入虚拟机操作,要退出来的话使用 Ctrl + Alt
2、选择安装centos7
选择语言
进行基本设置