大数据集成开发环境搭建-01-机器准备

1.集群规划

服务/主机 node01、node02为主节点

node01	node02	node03	node04	node05
zookeeper	zookeeper	zookeeper
hadoop	hadoop	hadoop	hadoop	hadoop
hive-metastore	hiveserver2	hiveserver2
spark	spark	spark	sparksql	sparksql
kafka	kafka	kafka
hbase	hbase	hbsae	hbase	hbsae
flink	flink	flink	flink	flink
azkaban	azkaban	azkaban
dolphinscheduler	dolphinscheduler	dolphinscheduler	dolphinscheduler	dolphinscheduler

2.环境准备

oi2.1 配置静态IP

node01

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址，默认为dhcp 
IPADDR="192.168.239.101" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器（此设置没有用到，所以我的里面没有添加）
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node02

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址，默认为dhcp 
IPADDR="192.168.239.102" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器（此设置没有用到，所以我的里面没有添加）
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node03

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址，默认为dhcp 
IPADDR="192.168.239.103" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器（此设置没有用到，所以我的里面没有添加）
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node04

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址，默认为dhcp 
IPADDR="192.168.239.104" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器（此设置没有用到，所以我的里面没有添加）
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

node05

#配置静态IP
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static" # 使用静态IP地址，默认为dhcp 
IPADDR="192.168.239.105" # 设置的静态IP地址
NETMASK="255.255.255.0" # 子网掩码 
GATEWAY="192.168.239.2" # 网关地址 
DNS1="114.114.114.114" # DNS服务器（此设置没有用到，所以我的里面没有添加）
ONBOOT=yes  #设置网卡启动方式为 开机启动 并且可以通过系统服务管理器 systemctl 控制网卡

2.2 配置主机名映射

node01-05

vim /etc/hosts

192.168.239.101 node01
192.168.239.102 node02
192.168.239.103 node03
192.168.239.104 node04
192.168.239.105 node05

2.3 SSH免密登录

node01、node02节点为master节点，需要配置对slave节点免密登录

#node01 node02执行
ssh-keygen -t rsa 
#四个回车
ssh-copy-id root@node01 #输入密码
ssh-copy-id root@node02 #输入密码
ssh-copy-id root@node03 #输入密码
ssh-copy-id root@node04 #输入密码
ssh-copy-id root@node05 #输入密码

2.4 集群时间同步

node01为时间服务节点

设置时区node01~node05执行

timedatectl set-timezone Asia/Shanghai

2.node01~node05执行

yum install ntp ntpdate

3.node01 修改配置文件

vim /etc/ntp.conf

#授权下述网段上所有的机器允许从ntp服务器上查询和同步时间
restrict 192.168.239.0 mask 255.255.255.0 nomodify notrap
#这两行内容表示当外部时间不可用时，使用本地时间
server 127.127.1.0 iburst 
fudge 127.127.1.0 stratum 10 

vi /etc/sysconfig/ntpd
# 增加
SYNC_HWCLOCK=yes

4. 启动ntp服务

node01 执行

systemctl start ntpd
systemctl enable ntpd

5. 配置时间同步

5分钟同步一次

node02~node05 配置定时

 crontab -e
 */5 * * * * /usr/sbin/ntpdate node01 > /dev/null 2>&1