前言
flink 1.11.2 on yarn 部署
一、下载安装包
Oracle官网下载一个linux版的jdk8
kafka下载地址
zookeeper下载地址
二、集群规划
IP | 主机名 |
---|---|
192.168.1.61 | kafka01 |
192.168.1.62 | kafka02 |
192.168.1.63 | kafka03 |
三、Centos基础环境(每台机器都执行)
1、安装centos(略)
2、网络环境配置(略)
3、yum源更改(略)
4、安装jdk
- 找到常用安装软件的目录
cd /xx
- 将下载的的jdk解压
tar -zxvf jdk1.8.gz
- 创建符号链接方便更新jdk版本
ln -s /xx/jdk1.8 /xx/jdk
- 配置环境变量
在/etc/profile追加
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
使配置生效,检查jdk版本
source /etc/profile
java -version
5、防火墙
停止防火墙,永久关闭防火墙
service stop firewalld
systemctl disable firewalld
6、修改主机名
hostnamectl set-hostname xxx
reboot #重启生效
7、修改/etc/hosts文件,添加ip与主机名的映射
在/etc/hosts追加
192.168.1.61 kafka01
192.168.1.62 kafka02
192.168.1.63 kafka03
8、设置免密登录
ssh-keygen
ssh-copy-id root@192.168.1.61
ssh-copy-id root@192.168.1.65
ssh-copy-id root@192.168.1.66
四、zookeeper安装(每台机器都执行)
1、解压
tar -zxvf zkxxx.tar.gz
2、创建符号链接
ln -s /xxx/zookeeperxxx /xxx/zk
3、配置环境变量
在/etc/profile中追加
export ZK_HOME=/soft/zk
export PATH=$PATH:$ZK_HOME/bin
4、修改配置文件
打开zookeeper配置目录 /xxx/zk/conf,复制一份原始配置文件到zoo.cfg
cp zoo_sample.cfg zoo.cfg
更改zoo.cfg配置
修改:
dataDir = /xxx/zookeeper #(可以默认,也可以自定义,但要知道目录位置,后面要用到)
追加:
server.0=kafka01:2888:3888
server.1=kafka02:2888:3888
server.2=kafka03:2888:3888
5、创建数据文件
mkdir /xxx/zookeeper
在数据文件目录创建myid文件
cd /xxx/zookeeper
vi myid
编辑内容:
#server.0=kafka01:2888:3888 如果配置中kafka01这台机器表示的是server.0则myid内容为0
0
6、启动zookeeper
zkServer.sh start
7、检查是否启动正常
zkServer.sh status
#在检查时会发现一个主机是leader,另外两个是follower
五、kafka环境(每台机器都执行)
1、解压kafka安装包
tar -zxvf kafkaxxx.tar.gz
2、修改配置文件
进入kafka配置文件目录,编辑server.properties
修改:
broker.id=x #简单的理解为给集群的主机按0,1,2,3,...排序
zookeeper.connect=kafka01:2181,kafk02:2181,kafka03:2181 #zk的配置
3、启动集群
nohup bin/kafka-server-start.sh config/server.properties &
4、检查是否启动成功
查看是否有kafka的进程信息
jps
5、修改数据默认存储时间
修改server.properties
log.retention.hours=168 #数据保留7天
6、开机自启
6.1 zookeeper开机自启
在/etc/init.d目录下新建开启动脚本
vim zk
内容:
#内容
#!/bin/bash
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
#chkconfig:2345 20 90
#description:zookeeper
#processname:zookeeper
case $1 in
start)
/xxx/zk/bin/zkServer.sh start
;;
stop)
/xxx/zk/bin/zkServer.sh stop
;;
status)
/xxx/zk/bin/zkServer.sh status
;;
restart)
/xxx/zk/bin/zkServer.sh start
;;
*)
echo "require start|stop|status|restart"
;;
esac
赋予文件可执行权限,并添加到开机启动项
修改权限
chmod 755 zk
测试命令
service zk status
添加到服务列表
Chkconfig --add zk
验证是否添加成功
chkconfig --list
设置为开机自启
chkconfig zk on
6.2 kafka开机自启
在/etc/init.d目录下新建开启动脚本
vim kafka
内容:
#内容
#!/bin/bash
export JAVA_HOME=/soft/jdk
export PATH=$PATH:$JAVA_HOME/bin
#chkconfig:2345 20 90
#description:kafka
#processname:kafka
case $1 in
start)
nohup /soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties &
;;
stop)
/soft/kafka/bin/kafka-server-stop.sh
;;
status)
jps
;;
restart)
/soft/kafka/bin/kafka-server-stop.sh
nohup /soft/kafka/bin/kafka-server-start.sh /soft/kafka/config/server.properties &
;;
*)
echo "require start|stop|status|restart"
;;
esac
赋予文件可执行权限,并添加到开机启动项
修改权限
chmod 755 kafka
测试命令
service kafka status
添加到服务列表
chkconfig --add kafka
验证是否添加成功
chkconfig --list
设置为开机自启
chkconfig kafka on