南京邮电大学通达学院大数据基础实践教程及报告_南京邮电大学大数据技术实验报告-CSDN博客

本文链接：https://blog.csdn.net/2201_75449795/article/details/139635550

大数据基础实践
一、目的和要求

实验目的：
学会Hadoop安装部署。
学会搭建 Hadoop 伪分布式环境
实验任务：
虚拟机安装
CentOs系统的安装
Hadoop集群的搭建
在hadoop集群中实现统计单词出现次数
二、实验环境（实验设备）
1.vmware15
2.CentOS-7-x86_64-Minimal-2009.iso
3.Hadoop-2.8.1.tar.gz
4.jdk-8u171-linux-x64.tar.gz
5.Xshell-7.zip
6.xftp-7.zip
三、实验内容、原理、过程描述
步骤1：创建相关文件夹
首先，我们在安装VMware之前需要找到一个磁盘（最好不要放到C盘）创建一个Linux文件夹，然后在文件夹里创建如下文件：

步骤2：VMware15 安装
最简单的下载方法：在自己的电脑上安装一个腾讯电脑管家，去腾讯电脑管家里自带的软件市场里下载。如下图所示：
在这里插入图片描述

在这里插入图片描述

最好不要去官网下，很有可能被和谐，而且还需要收费！！！
VMware15 安装主体默认安装，有一些是需要改动的地方，改动的地方如下图所示：在这里插入图片描述

最后的许可证密钥最好是去CSDN上搜，百度上搜到的大多都是过期的。
步骤3：创建虚拟机
首先，打开VMware，选择新建虚拟机，自定义安装，默认主体安装，然后选择稍后安装操作系统，操作系统选择：Linux、CentOS 7 64位，虚拟机名称：centos，位置放到前面设置好的os文件夹中，然后网络类型根据自己的条件来设置：台式机可以选择桥接模式，笔记本可以选择NAT模式，接下来默认安装即可。
步骤4：CentOS系统的下载与安装
下载地址为：
https://mirrors.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/
接下来配置虚拟机，右击刚创建的虚拟机，选择设置，先选择CD/DVD，然后选择启动时连接再选择使用Centos7的ISO映像文件即可。
接下来重新打开虚拟机，选择下图中的第一个：
在这里插入图片描述

然后配置语言和时间，选择软件安装-最小安装，开始安装，设置root密码，重启。
步骤5：配置防火墙
进入虚拟机后，输入用户名和密码（注意密码系统不显示，需要盲输，最好用数字小键盘），查看防火墙：systemctl status firewalld，如下图所示，防火墙即为开：
在这里插入图片描述

然后关闭防火墙—永久关闭：systemctl disable firewalld，设置配置文件，使防火墙不再执行：vi /etc/selinux/config，再次查看防火墙：systemctl status firewalld，如下图所示，防火墙即为关：
在这里插入图片描述

接着重启，上述操作生效：reboot，关机：poweroff。
步骤6：Hadoop集群的搭建
首先，右击centos，点击管理，点击克隆，点击克隆自虚拟机中的当前状态，点击创建完整克隆，名称和位置选自之前创立的三个文件夹：master、slave1、slave2。
步骤7：更改电脑网络设置
首先，需要找到桌面上的网络图标，如下图所示：
在这里插入图片描述

然后找到这个图标，如下图所示：
在这里插入图片描述

点击属性，点击左侧更改适配器设置，找到WLAN，点击属性，点击共享，第一个方框打钩，家庭网络连接至：VMware Network Adapter VMent8,接着点击VMware Network Adapter VMent8，点击属性，点击Internet协议版本4（TCP/IPv4），接着如下图配置：
在这里插入图片描述