[大数据之集群部署】01 集群环境安装-初始环境准备(1)

| MySQL | MySQL | √ | | |
| Spark | | √ | | |
| Superset | | | | √ |
| Datax | | √ | | |
| Dolphinscheduler | MasterServer | √ | | |
| WorkServer | √ | √ | √ |

二、运行环境准备（所有节点均需要操作）

1. 配置集群网络，若是虚拟机请参考：【Linux运维】Linux之虚拟机配置网络-CSDN博客

2.安装常用工具包

//更新yum包
yum update -y

//安装vim编辑器、网络时间同步工具、工具包、下载工具、服务器与本地电脑传输工具、制作脚本工具、rsync工具包、locate命令包 “红帽系”操作系统的额外安装包
yum install -y vim ntpdate net-tools wget lrzsz git rsync mlocate ntp epel-release

//httpd包，并开启服务
yum install -y httpd
//开启服务
service httpd restart

3. 修改主机名称

// 打开配置文件

vim /etc/hostname

// 删除文件中内容，在文件中增加主机别名，比如在01节点为hadoop01，02节点为hadoop02，03节点为hadoop03

4.  关闭防火墙与关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

5. 创建bigdata用户，并修改bigdata用户的密码（此操作是为了降低用户权限，集群操作安全，可选步骤）

useradd bigdata
passwd  bigdata
输入bigdata用户的密码

6. 配置bigdata用户具有root权限，方便后期加sudo执行root权限的命令（可选步骤）

修改/etc/sudoers文件，在%wheel这行下面添加一行，如下所示

7. 配置集群分发脚本

• 在/home/atguigu/bin这个目录下存放的脚本，atguigu用户可以在系统任何地方直接执行
• 脚本实现 (xsync文件)

#!/bin/bash
#1. 判断参数个数
if [ KaTeX parse error: Expected 'EOF', got '#' at position 1: #̲ -lt 1 ] the…host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e KaTeX parse error: Expected 'EOF', got '#' at position 29: … then       #̲5. 获取父目录    …(cd -P $(dirname KaTeX parse error: Expected 'EOF', got '#' at position 22: … pwd)       #̲6. 获取当前文件的名称 …(basename $file)
      ssh $host “mkdir -p $pdir”
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

• 修改脚本执行权限：

[bigdata@hadoop102 bin]$ chmod u+x xsync


![img](https://img-blog.csdnimg.cn/img_convert/f4f20b89804eb1246f315a71f7c5ba69.png)
![img](https://img-blog.csdnimg.cn/img_convert/0cceb96bc87aeabf26be79fb1d292022.png)
![img](https://img-blog.csdnimg.cn/img_convert/3bc551afffdb2b75e097f715d33b22cc.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**