大数据分布式集群环境搭建详细步骤（Linux环境搭建及网络配置）

大数据分布式集群环境搭建详细步骤（Linux环境搭建及网络配置）

前言：大数据分布式集群环境搭建对于初学者来说较为繁琐复杂，网上教程也参差不齐，本人在学习大数据的过程中踩过不少坑，希望记录下来，我们大家互相学习，让学习成为一种习惯。博客中如果有需要改进的地方，希望大家不吝赐教。

另外，为了给广大读者提供方便，不需要每次都自己找安装包下载，我已将本篇及后续文章涉及到的软件包都下载好并放入百度云（百度云链接：https://pan.baidu.com/s/1u_KKb4ZaX3KLCJdg4O2rRw
提取码：npvt）

软件版本：

虚拟机软件：VMware-workstation-full-15.5.1
CentOS 操作系统 ISO 镜像：CentOS-7-x86_64-Minimal-1611.iso
SSH终端软件：Xshell
SFTP文件传输工具：Xftp

安装Linux操作系统

1、创建新的虚拟机

2、选择虚拟机硬件兼容性

默认即可

3、加载Linux系统iso镜像

4、虚拟机命名并存储

5、自定义虚拟机配置

处理器按需配置

内存按需分配：

网络部分选择 使用网络地址转换

I/O控制器选择默认即可

硬盘类型选择默认即可：

硬盘容量按需分配：

6、安装设置，开启安装

7、进入系统安装界面

8、选择安装语言

9、配置分区

10、进入正式安装过程

11、安装完成并重启

12、进入系统·：

系统装好了，但还有几个问题

问题一： 虚拟机内的Linux系统与外网无法连通

问题二：虚拟机内Linux与外部宿主机无法连通
问题三：虚拟机内Linux系统 节点与节点无法连通（如果装了多个Linux节点）

网络配置（很重要！）

对于网络的配置，我们希望IP是相对固定了，这样才能确保集群的所有服务器之间通信的正常，达到协同合作的目
的，因此再配置Linux网络时要考虑到局域网和Internet网都可以适配，在这里我们选用虚拟网卡配合NAT模式的方
式达到此目的。反正一句话:网要通还很稳定。

1、给当前Linux主机设置VMnet8虚拟网卡，在VMWare中选择虚拟机，再选择设置

2、在弹出的对话框中顺序如下选择网络适配器—》自定义—》VMnet8

3、在VMWare中选择编辑，在选择虚拟网络编辑器

4、记住以下内容

5、再在windows中配置

6、找到后进去设置

7、对虚拟网卡进行配置

8、设置Linux的网络配置文件
使用命令编辑：vi /etc/sysconfig/network-scripts/ifcfg-ens33
vi的编辑模式 按 i
保存退出 :wq

完成后保存退出

9、重启Linux网络服务，使用如下命令
service network restart
10、检查网络通信
检查外网是否连通：ping www.baidu.com

看见上图就没有问题了
11、检查windows与Linux的通信

12、找到Windows的ip地址，大家肯定会问怎么找呢？看你的alt键和ctrl键之间有个window窗口标志的键，按住它再按R

确定后就可以打开windows的控制台，在控制台中查看ip

找到之后回到Linux中
ping 192.168.0.108

看见如上图所示就可以了
最后测试windows和Linux的通信了，在windows的控制台中ping你的Linux主机ip地址，Linux地址如何查看呢？
在 Linux中输入命令
ip addr

然后到windows控制台中去ping

如果结果如上图所示就行了。

SSH远程连接

简介：Xshell6就是一个运行在Windows上的，可以远程连接Linux服务器的连接工具
Xftp也是一个运行在Windows上的，可以远程传输文件到Linux服务器的工具
两个工具的用法类似，就是用IP，用户名，密码与对应服务器建立连接，然后执行远程操作

在宿主机通过SSH终端连接虚拟机内Linux系统成功！

SFTP文件传输

在宿主机通过SFTP工具即可访问虚拟机内Linux节点，从而实现本地和服务器的文件互传

这样一来，一个可用的Linux节点就打造完成了

增加节点设置集群

可以完全重复以上步骤再打造出多个Linux节点，更简单的方式则是直接通过上面已经装好了的虚拟机节点直接克隆，来快速生成其他节点。

克隆完成之后，重新配置一下新节点网络即可。
至此，多节点的Linux环境就搭建完成了，后续我们将继续完成大数据生态圈其他组件的安装部署。