数仓搭建基本环境准备

**

1.准备奇数(因为大数据框架都是主从框架,奇数才能实现选举机制)台虚拟机

**

**

2.修改网卡信息(配置静态网络)

**

[root@Hadoop171 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改以下信息
BOOTPROTO=“static”
#虚拟网址
IPADDR=192.168.200.171
#网关
GATEWAY=192.168.200.2 #要和虚拟机虚拟网络一致
#域名解析器
DNS1=192.168.200.2 #也要和虚拟机一致

重新启动网络：
systemctl stop NetworkManager
systemctl disable NetworkManager
systemctl start network.service

测试网络是否畅通

[root@Hadoop171 ~]# ping www.baidu.com

**

3.修改主机名

**

[root@Hadoop171 ~]# vim /etc/hosts

**

4.同步时间

**

（图形化设置）应用程序->系统工具->设置->详细信息->日期和时间->解锁后->设置时区->打开自动设置日期和时间->打开自动设置

**

5.关闭每台机器的防火墙

**

[root@Hadoop171 software]# systemctl stop firewalld

查看防火墙是否关闭

[root@Hadoop171 ~]# systemctl status firewalld

**

6.重启机器

**

[root@Hadoop171 ~]# reboot

**

7.配置免密登录

**

A：生成公钥和私钥

[lisha@hadoop102 .ssh]$ pwd
/home/lisha/.ssh
----------------没有这个文件夹，执行以下一条命令------
[lisha@hadoop102 ]ssh localhost
[lisha@hadoop102 .ssh]$ ssh-keygen -t rsa

​ 这步完事后，敲3次回车，就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

B：将公钥拷贝到要免密登录的目标机器上

[lisha@hadoop102 .ssh]$ ssh-copy-id hadoop102
[lisha@hadoop102 .ssh]$ ssh-copy-id hadoop103
[lisha@hadoop102 .ssh]$ ssh-copy-id hadoop104

C：完成次步骤后，进行ssh测试

[lisha@hadoop102 .ssh]$ ssh hadoop103

会出现103的位置

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zB7kemgo-1631278994397)(1622021147923.png)]

D：在103 104上同样SSH免密登录

**

8.编写分发脚本(用于节点间的文件同步)

**

3：xsync集群分发脚本

A：是什么

		把rsync自定义的进行了再一次的封装。和jdk一致，脚本在任何路径下都可以进行使用

 [lisha@hadoop102 opt]$  echo $PATH

​ 回显当前所可用的path路径

B：实现步骤

<a:创建xsync文件

[lisha@hadoop102 opt]$ cd /home/lisha
[lisha@hadoop102 ~]$ mkdir bin
[lisha@hadoop102 ~]$ cd bin
[lisha@hadoop102 bin]$ vim xsync

<b:编写如下脚本

在copy脚本的时候，一定先摁一下英文字母O或者i进入到插入模式下！

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

<c:修改权限

[lisha@hadoop102 bin]$ chmod 777 xsync

<d:测试脚本

[lisha@hadoop102 ~]$ xsync /home/lisha/bin

<e:将脚本复制到/bin 中，以便全局调用

[lisha@hadoop102 bin]$ sudo cp xsync /bin/

<f:同步环境变量配置（root 所有者）

​ 这里要注意是绝对路径（./），因为用户权限不一致。

[lisha@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

<g:在另外两台机器上让环境变量生效

[lisha@hadoop103 bin]$ source /etc/profile
[lisha@hadoop104 opt]$ source /etc/profile

<h:在其他机器上查看环境变量

[lisha@hadoop103 bin]$ hadoop
[lisha@hadoop104 bin]$ hadoop

**

9.安装jdk

**

解压到指定目录 [root@Hadoop171 01.JDK]# tar -zxvf jdk-8u212-linux-x64.tar.gz
-C …/…/software/

配置环境

#JAVA_HOME export JAVA_HOME=/opt/software/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin

刷新配置

[root@Hadoop171 01.JDK]# source /etc/profile

查看是否配置成功

[root@Hadoop171 01.JDK]# java -version