Hadoop大数据技术从 创建虚拟机 到 spark on hive 编程

  本教学在未写完之前免费观看，未写完之前后面的编程教学也是免费观看

linux 虚拟机创建

  为什么要创建虚拟机，为什么要使用虚拟机，首先分布式计算的核心理念是将一个计算任务分解为多个小任务，然后分配给多台计算机进行处理，用多台计算机进行处理原因就是单台计算机的算力不够用升级成本高，用多台计算机分布式计算以此凑够算力的成本低，分布式的实际计算是在多台计算机上进行的，但是考虑只是学习用，用虚拟机在一台电脑上模拟出多台计算机进行计算训练的成本更低，所以我们要创建虚拟机进行训练，使用Linux系统的centos版本进行教学也是因为这个系统免费的原因

VMware workstation 17 pro 在周年庆的时候宣布对于个人使用免费，国内暂没有镜像可自行到官网下载

CentOs 光驱下载：Index of /centos-vault/centos/7.9.2009/isos/x86_64/ (ustc.edu.cn)

这两个任意一个版本

自定义创建虚拟机方法

命令行界面虚拟机

点击文件有个创建虚拟机，然后点击，之后会弹出此窗口先点击自定义 (我会对经典和自定义多种创建放松进行教学)，

一直下一步到这个位置，选择稍后安装操作系统，然后下一步

各机子处理器总数小于本机实际情况大概70%，尽量不影响本机的运行情况，如果本机的分完了会导致本机会卡，从而也会影响你的虚拟机，这个虚拟机处理器分配数量不是越大越好,主节点资源分配应大于其他节点

各虚拟机分配的内存总数最好小于本机的一半，主节点资源分配应大于其他节点

然后一直下一步到这个位置，这个也一样尽量不能大于本机空闲容量的，多给本机留资源，整个Hadoop及插件装完再留个半年的使用空间的话，主节点 40 GB ，其他 30GB，然后默认选择拆分多个文件，继续下一步

这个东西后面有可能会用到，在VMware里一不小心删掉了左边的机子接口，但是本地磁盘里面没有删除的话，不想重新从0开始搭建也可以挽回，就是找到对应机子的这个 vmdk的后缀文件点击即可打开之前的那个虚拟机，这里就是介绍一下这个 vmdk 文件的作用，继续下一步

这里有个自定义硬件点击，进行DVD光盘选定指定

点击 DVD 选择 ISO 映像文件 然后浏览

在浏览中选择已备好的DVD光盘，不要解压，点击选中然后点击下面的打开按钮就确定好了

DVD光盘选定完后点击确定

点击开启此虚拟机

等待

选择语言 然后继续

这个最小安装就是命令行界面，然后开始安装

  root 管理员密码必设，用户可以不创建和设置，学习Hadoop分布式推荐不创建用户，因为你建了也用不上，经常会使用到管理员权限，所以只是学习的话没有必要创建用户，自己学习的时候建议root密码越简单越好，因为密码忘了之后很麻烦

完成后点击完成配置

点击重启

虚拟机网络配置

选择虚拟机网络的NAT模式

vi /etc/sysconfig/network-scripts/ifcfg-ens33

---------------------------------今天更的另一篇文章所以这篇没时间了，待更新---------------------------------
------关注作者或收藏文章可跟踪明天的新教学部分

 群

目前技术交流群已经建好，感兴趣的可以加入一下