个人PC搭建自己的Linux分布式集群

一、背景

跑spark mllib中的算法模型可能个人电脑虚拟机带不动（其实还是赋闲在家没事找事做：）），家里正好有两台闲置PC，然后自己又组了台主机，利用家里的路由器，把三台pc刷好Linux后，组建个集群

注：此时还不能算是个集群，搭建hadoop集群应该在下一篇博客

二、准备

        1.三台主机

        2.制作centos7的U盘启动盘

        3.家用路由器和三根网线

三、安装

        由于安装阶段无法截图，这里只能记录一下遇到的坑。

        1.三台主机：

        笔者准备的配置是：两台主机 8G内存+500G机械硬盘，一台笔记本 4G+500G机械硬盘

        由于不打算再使用win，并且在安装阶段磁盘出现了问题，就使用diskgenius软件将三台PC的磁盘全部“清除分区”并“清除扇区数据”了。如果怕麻烦的朋友可以像笔者这样直接清空磁盘，如果有钻研精神的朋友可以再研究一下安装双系统。

        2.制作centos的U盘启动盘

        可以参照另一篇博客：https://mp.csdn.net/mp_blog/creation/editor/118480688

        这是笔者自己安装centos成功后写的制作启动盘方法

        3.安装centos

        重启pc后进入bios选择u盘安装

        按⬆️健选择install centos，因为默认是第二个

        a.选择安装语言

                安装centos一开始可以选择“中文”，不影响后续使用，只是安装阶段时是中文说明。

        b.设置时区和时间

                改成“亚洲”、“上海”时间根据自己当前时间修改。注：后续搭建集群可能要重新修改时间，因为如果两台机器时间相差太大，可能会通信失败

        c.选择“最小安装”

                因为后续打算远程连接，没有选择安装图形桌面

        d.设置机器各目录大小

                选择“标准”

                视个人磁盘大小决定，笔者设置如下：

        e.设置网络和hostname

                由于一开始没买到网线：），暂时没设置网络；

                底下有个框是设置hostname：根据习惯三台依次填入了：master、slave1，slave2

        f.设置root密码

                注意之前如果没设置网络和hostname 设置分区的时候可能是大写，所以密码中的英文可能是大写。

        到此单台linux安装全部设置完成，可以点击安装，等待片刻即可安装成功

        g.设置网络

                重启进入centos7后，插上网线，此时centos  ifconfig命令是用不起来的，并且网不能用，因为一开始没设置网络默认是关着的。

                cd /etc/sysconfig/network-scripts

                看一下网卡，一般是：

                一般是ifcfg-enp开头。

                修改这个文件：

                保存退出后：service network restart 

                显示ok后，使用 ip addr 命令能看到自己网络信息

                接着使用yum install net-tools，安装完成后能使用ifconfig命令（个人习惯这个命令）

        h.设置静态IP

                还是修改那个文件，新增几行信息：

                设置静态ip时需先ping测试下当前设置的IP，是否无人占用

                修改完成后，使用service network restart 重启

                用其他机器ping 一下刚刚设置的ip能否ping通

        此时设置基本完成

        单台机器就可以远程连接了，后续两台也是这样搭建。

        搭建hadoop集群的条件基本具备。

（pc在客厅，可以在房间躺在床上自由的玩耍啦