系统重装（完全重装d盘不保留）后大数据环境搭建（centos7操作系统）搭建hadoop集群，mysql，hive，spark集群以及spark on hive。

有一天开机莫名其妙虚拟机打开就蓝屏，下面两个是开启的状态，(仍然不知道什么问题)每次进行修改之后都要开机尝试某一次直接系统崩掉了，所以无奈重装，但是由于重装后环境恢复比重新配置还麻烦直接重新做一次。

 

重装系统后先点击电脑左下角开始->设置->window安全中心->病毒和威胁防护里的两个保护关掉，因为我自己要使用一些破解软件

一.VMware虚拟机创建

1.1.1 虚拟机安装和配置

虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。 在实体计算机中能够完成的工作在虚拟机中都能够实现。 在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作. 总结：虚拟机具有独立内存、硬盘容量、cup，是一个完整计算机系统，具有优点，如果在使用虚拟机的过程中，出现损坏，或者故障，只需要还原虚拟机设备，就会释放虚拟机资源，重新配置虚拟机，更加方便使用。

1.1.2 虚拟机创建

此处建议选30GB ！！！

1.1.3 搭建linux操作系统

 

1.3 网络配置

打开该虚拟机的虚拟网络编辑器：

这个是子网IP IP最后一位是自己定义的，上面图片选择100，我自己是128

IPADDR=192.168.91.100    

NETMASK=255.255.255.0  

GATEWAY=192.168.91.2    这个是网关

DNS1=114.114.114.114

DNS2=8.8.8.8

配置一个固定的IP地址： 在linux操作系统中：所有的软件配置文件，都是以文件方式进行出现，也就意味着，配置一个固定ip地址需要一个网卡文件 使用以下命令

vi /etc/sysconfig/network-scripts/ifcfg-ens33

记得修改这里，否则免密容易出现问题

注意: 如果ONBOOT = no的话需要改成yes

IPADDR=192.168.91.100

NETMASK=255.255.255.0

GATEWAY=192.168.91.2

DNS1=114.114.114.114

DNS2=8.8.8.8

重启网络：

service network restart

systemctl restart network.service

ip addr ----查询ip地址

ping www.baidu.com 使用netstat方式查看端口是否存在：

netstat -tln | grep 22

上述问题出现原因是因为，系统为纯净版的系统，需要手动安装 yum install net-tools -y

PS: 在linux下Ctrl + C不是代表复制的意思，是结束当前进程的意思

二.使用yum(centos7)软件包管理工具进行时间同步和vim安装

安装vim

yum update

yum -y install vim 

时间同步

yum -y install ntp 

ntpdate ntp.aliyun.com

查看时间

date

三.虚拟机克隆

1.关闭克隆虚拟机

再次进行上述操作：

克隆完毕后，需要修改内存上限(2G或1G)

分别在hadoop2和hadoop3进行以下操作：

打开hadoop2：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

重启网络：

service network restart

systemctl restart network.service

ip addr ----查询ip地址

修改主机名：

重启虚拟机：

配置远程连接：

hadoop3：同hadoop2

同步时间：

[root@hadoop2 ~]# ntpdate ntp.aliyun.com

5 Dec 16:17:34 ntpdate[2136]: step time server 203.107.6.88 offset -28800.935828 sec

在hadoop3中重复进行上述操作，但ip地址第四位需要改成102：

3台节点之间映射关系：

[root@hadoop1 ~]# vi /etc/hosts

hadoop1 192.168.91.101

hadoop2 192.168.91.102

hadoop3  192.168.91.103

[root@hadoop2 ~]# vi /etc/hosts

hadoop1 192.168.91.101

hadoop2 192.168.91.102

hadoop3  192.168.91.103

[root@hadoop3 ~]# vi /etc/hosts

hadoop1 192.168.91.101

hadoop2 192.168.91.102

hadoop3  192.168.91.103

测试：

[root@hadoop1 ~]# ping hadoop1

[root@hadoop1 ~]# ping hadoop2 

[root@hadoop1 ~]# ping hadoop3 

Ctrl+z停止

四.服务器的基本准备关闭防火墙和ssh免密

systemctl stop firewalld.service  #关闭防火墙

systemctl status firewalld           #查看防火墙状态

systemctl diable firewalld.service  #禁止防火墙开机自启

ssh-keygen #四个回车生成公钥和私钥

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id hadoop3

我这里当时配置出现了问题

只有两台机器能够成功免密，当时找到问题所在是在前面不知道何时ip地址还有一个动态ip，

关掉即可

vi /etc/sysconfig/network-scripts/ifcfg-ens33

重启网络：

service network restart

systemctl restart network.service

ip addr ----查询ip地址

 注明：

要清除SSH免密配置并重新配置，您可以按照以下步骤进行操作：
1.删除known_hosts文件：这个文件保存了您已经连接过的远程主机的公钥信息。如果您希望重新建立SSH连接，可以删除这个文件，让SSH客户端忘记已经连接的远程主机。在您的本地主机上执行以下命令来删除known_hosts文件：
rm -r ~/.ssh/known_hosts
2.删除远程主机上的authorized_keys文件：如果您希望重新配置SSH免密访问，您可以登录到远程主机并删除authorized_keys文件。这个文件保存了允许访问远程主机的公钥。您可以使用以下命令删除authorized_keys文件：
rm -r ~/.ssh/authorized_keys
重新建立SSH免密访问：删除了known_hosts文件和远程主机上的authorized_keys文件后，您可以重新配置SSH免密访问。您可以使用ssh-keygen命令生成新的SSH密钥对，并使用ssh-copy-id命令将公钥复制到远程主机上。例如：

ssh-keygen #四个回车生成公钥和私钥

ssh-copy-id hadoop1

ssh-copy-id hadoop2

ssh-copy-id h

hadoop3

下一篇正式开始