大数据竞赛

大数据竞赛

基础环境搭建

1. 按照虚拟机名称修改对应主机名(分别为master、slave1、slave2,使用hostnamectl命令);操作环境:master、slave1、slave2
   答：在master上操作
   [root@localhost ~]# hostnamectl set-hostname master
[root@localhost ~]# bash
   ​其他节点操作同上

2. 修改host文件添加左侧三台节点IP与主机名映射(内网IP);操作环境：三台节点
   答：在文件中添加节点的IP以及节点的名称，保存退出即可。
   [root@master ~]# vi /etc/hosts进入编辑页面
   //文件写入 内网IP master 内网IP slave1 内网IP slave2

   其他节点操作同上

3. 时区更改为上海时间(CST+0800时区);操作环境：三台节点
   答：tzselect回车5回车9回车1回车1;
   修改环境变量
   [root@master ~]# vi /etc/profile
   将TZ='Asia/Shanghai'; export TZ添加到环境变量末尾
   [root@master ~]# source /etc/profile生效环境变量
   其他节点操作同上

4. 屏蔽默认server，设master为本地时钟源，服务器层级设为10;操作环境：master
   答：修改master上的ntp.conf文件
   [root@master ~]# vi /etc/ntp.conf
   注释掉server0，1，2，3
   然后换行添加:
   server 127.127.1.0 fudge 127.127.1.0 stratum 10

5. 开启ntp服务;操作环境:master
   答：[root@master ~]# service ntpd start开启服务
   [root@master ~]# systemctl status ntpd查看服务状态

6. 从节点在早十晚五时间段每隔半小时同步一次主节点的时间（24小时制，服务器地址使用主机名）;操作环境：slave1、slave2
   答：[root@slave1 ~]# crontab -e
   进入编辑页面输入：*/30 10-17 * * * /usr/sbin/ntpdate master

其他节点同上

7. 主节点生成公钥文件（数字签名RSA，主机名master，用户root）;操作环境:master
   答：[root@master ~]# ssh-keygen三个回车

8. 实现主机自身localhost免密访问;操作环境：master
   答：[root@master ~]# ssh-copy-id master
   然后输入‘yes’和master的密码
   验证是否能自身免密登录[root@master ~]# ssh localhost
   然后输入‘yes’

9. 实现master对slave1的免密登录
   答：[root@master ~]# ssh-copy-id slave1
   然后输入‘yes’和slave1的密码

10. 实现master对slave2的免密登录
    答：[root@master ~]# ssh-copy-id slave2
    然后输入‘yes’和slave2的密码

11. 将jdk安装包解压到/usr/java目录;操作环境：三个节点
    答：创建/usr/java目录[root@master usr]# mkdir java
    解压缩[root@master package]# tar -zxvf jdk1.8.0_221.tar.gz -C /usr/java
    其他节点同上

12. 配置java环境变量并使其生效;操作环境：三个节点
    答：[root@master package]# vi /etc/profile
    添加如下内容：

    #java
    export JAVA_HOME=/usr/java/jdk1.8.0_221
    export PATH=$PATH:$JAVA_HOME/bin
    

    添加完成后保存退出
    [root@master package]# source /etc/profile使文件生效

    其他节点同上