0、准备条件
1、两台服务器,必须要再同一个vpc网络下,用内网地址可以ping通,腾讯云是同一个账号同一个地域的服务器会自动分配到同一个vpc下面(腾讯云稍微便宜点)
2、开放防火墙,一个是安全组规则,一个是firewalld服务
- 开放安全组
-
关闭firewalld
systemctl stop firewalld systemctl disable firewalld
3、编辑 所有服务器的/etc/hosts 文件
4、配置ssh免密登录(可选)
1)生成公钥(会在当前目录生成.ssh文件夹 里面有公私钥)
# 一直回车就行
ssh-keygen
2)发送到其他服务器 (这里会输入其他服务器的密码)
ssh-copy-id -i ~/.ssh/id_rsa.pub root@flink103
3)测试
ssh root@flink103
看到连接上了说明成功了
1、去官网下载安装包flink-1.13.0-bin-scala_2.12.tgz
2、传到服务器上 解压
- 解压命令 ( -C 指定路径名 没有先创建)
tar -zxvf flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/
3、修改配置文件
-
修改 /conf/flink-conf.yaml
vi /conf/flink-conf.yaml
- 修改workers
4、分发到其他服务器
scp -r ./flink-1.13.0 root@flink102:/opt/module
检查一下路径 各个服务器上的flink启动路径一定要一样
5、启动/关闭 (运行安装包bin下面提供的脚本就行)
./start-cluster.sh
./stop-cluster.sh
6、查看日志
-
jps查看一下进程
-
根据进程号查看日志文件路径
# ls /proc/{进程id}/fd # fd目录介绍 # 此目录包含进程打开的所有文件,文件名为文件描述符,目录中每个软连接都会指向进程打开的实际文件 ll /proc/{进程id}/fd | grep "log"
-
tail -f 查看日志文件
看到successful多半就是成功了
7、连上网页端(用master节点的公网ip加上端口号8081)
高可用配置:
#1、需要先准备好zookeeper集群、hadoop集群
#2、下载flink-shaded-hadoop-xxx相关依赖放到 flink/lib当中
#3、编辑 masters 和 workers 规划 主从节点
high-availability: zookeeper
high-availability.storageDir: hdfs://hadoop102:8020/flink/ha
high-availability.zookeeper.quorum: hadoop102:2181,hadoop103:2181,hadoop104:2181
high-availability.zookeeper.path.root: /flinl-1.12.0
high-availability.cluster-id: /cluster_flink