大数据技术栈-Hadoop3.3.4-完全分布式集群搭建部署-centos7（完全超详细-小白注释版）虚拟机安装+平台部署

目录

环境条件：

1、安装虚拟机（已安装好虚拟机的可跳转至  二、安装JDK与Hadoop）

（1）直接新建一台虚拟机

（2）首次启用虚拟机，进行安装

一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录）

1、查看一下本机与虚拟机的网卡和ip信息

（1）首先，查看本机的网卡配置，使用cmd查看ipconfg，找到VMware的虚拟网卡，查看ip

（2）查看虚拟机的网卡配置和网络信息

（3）修改Hostname

2、配置静态ip网卡

​编辑

​编辑

3、配置ssh免密登录

（1）修改hosts文件

（2）配置ssh

4、hadoop集群规划

二、安装jdk与hadoop

1、检查jdk是否安装

2、安装jdk，配置环境

3、准备Hadoop3.3.4安装包

（1）获取安装包

（2）解压安装包 

（3）检查 hadoop-3.3.4/etc/hadoop 路径下的文件 

4、配置Hadoop3.3.4环境变量

5.修改Hadoop配置文件内容

（1）修改hadoop-env.sh 添加JAVA_HOME

 （2）修改 core-site.xml 添加配置信息：

（3）修改yarn-site.xml

 （4）修改mapred-site.xml

 （5）修改hdfs-site.xml

 （6）修改workers

6.同步hadoop至slave1与slave2

三、初始化

1.初始化namenode

2.启动Hadoop

 （1）第一种启动方式

（2）第二种启动方式

（3） 检查启动状态

（4）关闭Hadoop

---

环境条件：

设备类型	软件类别	名称、版本号
PC机（建议内存8GB以上）	操作系统	Window10
	软件	VMware Workstation 17 Player
虚拟机	Linux 操作系统	CentOS 7
	镜像文件与安装包	CentOS-7-x86_64-DVD-2009.iso
		Hadoop3.3.4.tar.gz
		jdk-8u191-linux-x64.tar.gz
其他（看个人喜好选用）	工具	Xshell 7
		Xftp 7

1、安装虚拟机（已安装好虚拟机的可跳转至  二、安装JDK与Hadoop）

默认VMware已经安装好，打开VMware安装第一台虚拟机

（1）直接新建一台虚拟机

选中 已经下载好的镜像文件 CentOS7-x86_64-DVD-2009.iso 

修改机器名称、本机用户与密码，root用户也使用此密码

命名虚拟机名称，并设置本虚拟机的位置（建议选择储存空间大的位置，新建文件夹存放） 

 

 设置大小，默认为20GB，不用修改

选择 将虚拟磁盘存储为单个文件  然后下一步

 

检查虚拟机硬件配置，进行  自定义硬件 进行修改

 

将内存设置为 2GB（最少2GB）

将处理器数量设置为 2个

将网络适配器选择为自定义 选用 VMnet8 

 至此，虚拟机基本设置完成，点击完成即可。

（2）首次启用虚拟机，进行安装

直接启动

首次启用需等待系统自动下载

然后就进入系统了

注：本次安装过程使用了简易安装，不使用的话是需要自行选择需要安装的插件和软件

可以点击用户名进行普通登录，或选择 Not listed？ 使用root用户登录

至此，虚拟机的安装就算结束了···

一、集群前置环境搭建（三台机器分别设置hostname、网卡（ip）配置、ssh免密登录）

1、查看一下本机与虚拟机的网卡和ip信息

（1）首先，查看本机的网卡配置，使用cmd查看ipconfg，找到VMware的虚拟网卡，查看ip

win + R 打开 cmd

cmd中使用 ipconfig 进行查看

  

找到 VMnet8 这个虚拟网卡，所有集群的IP需配置在此网段内。例如：192.168.13.20

记住192.168.13.1和255.255.255.0

（2）查看虚拟机的网卡配置和网络信息

使用 ifconfig 或 ip a 进行查看 两者选一个即可（能看到虚拟机现在的ip和网卡名称即可）

ifconfig

通常出现的第一个此虚拟机使用的虚拟网卡，名称为ens33 对这个网卡的配置文件进行修改