大数据 - 第一课：安装CenOS7_cenos7大数据与云计算-CSDN博客

本文链接：https://blog.csdn.net/qq_44702847/article/details/104741082

说在前面，pf老师真的好有耐心呀，点赞。这才是猛男该有的样子。

课前公告

大数据，R语言，python……数据量过大（以T为单位），Hadoop平台
Hadoop平台：分布式存储即HDFS
MapReduce计算方法（先打散数据），
流式存储方式，增删改查（不删不查，操作简单速度快），是覆盖的过程，64M，不需要长时间的寻址，存读都是流式的即要按顺序不能从中间开始，并不绝对，开源可设置（我们的电脑是块式，存储到磁盘当中的某一块，每块默认4k ）
节点两种NameNode（一般只有一个，ServerGUI，消耗较大，内存占用较大） & DataNode（有好多个，可以不装SeverGUI）

Hadoop单节点安装
安装之前要先装Java，两者有依赖关系
Spark和Java、Hadoop的版本都有依赖关系
确定版本再安装：Spark（稳定版）->Hadoop->Java

CentOS7 = Redhat（花钱买服务，按时间，源码公开/提供10年有效期）
（没有任何保障，提供软件更新）
Ubuntu 一般提供5年服务，不同版本变化非常大（为了适应图形界面）14.04,16.04,18.4
Spark （主流）基于内存运算，基于Hadoop

第一节课做的事情就是安装CenOS7，在这之前，你要下载好这个安装文件 & VMware

接下来正文开始

首先右键以管理员身份运行VMware,点击创建新的虚拟机（画质有点糊是因为上课截的是老师的笔记呸是屏幕

推荐）使用典型，点击下一步

选择安装介质，点击下一步
111
给虚拟机起名字（按自己喜好来
选择放置位置，第一个考虑是把虚拟机与宿主机放到不同的物理硬盘上，
第二个考虑是硬盘读写速度

此电脑右键，管理（打开之后点磁盘管理，查看自己电脑的磁盘容量&运行速度

建议硬盘空余空间>40G容量

建议最大磁盘大小>40G(因为这个节点除了要安装集群文件，还要安装开发系统)//将虚拟磁盘存储为单个文件（运行速度快）

点击自定义硬件

为了安装速度比较快，点击“自定义硬件”，根据自己的电脑配置，选择内存大小和CPU核心数

电脑运行内存8G//建议内存选择2G（2-48MB），其他节点1G
处理器数量4个（显示8个因为双线程

//建议处理器数量2个，一定要勾上“虚拟化Intel VT -X/EPT 或 AMD-V/RVI（V）”

设置完成，关闭，开始安装进程

鼠标点击界面，按键盘上的“i“键，回车开始安装（如果要释放鼠标，按”alt+ctrl“组合键。

选择语言
选择安装过程中的语言，点击continue

出现这个界面后，需要等待系统进行安装前的检测，稍等片刻，看看哪个项目还有感叹号（需要手工处理）

项目图标点击该项目，进行分区选项

不需任何改动，全部使用默认选项，点击“Done“
点击图示位置图示内容，选择安装软件的内容

NameNode选择“Server with GUI“，然后点击”Done“，系统会再次进行检测，检测完成之后点击”Begin Installation“。进行安装
安装教程
点击“ROOT PASSWORD“，设置root密码，一定要记住（记不住只能重装了，所以必须记住），设置完之后点击”USER CREATION“，设置用户名和密码，要勾选“Make this user administrator”，将不能够对系统进行相应设置，点击了可以给该用户相应权限，设置密码