flink独立集群搭建

说明：搭建flink独立集群，可以下载flink的任意版本(官方说的)

官网：https://ci.apache.org/projects/flink/flink-docs-release-1.7/

官网文档：https://ci.apache.org/projects/flink/flink-docs-release-1.7/ops/deployment/cluster_setup.html

下载地址：http://mirror.bit.edu.cn/apache/flink/flink-1.7.1/flink-1.7.1-bin-hadoop28-scala_2.12.tgz   -- 本人采用的此包

 

节点

192.168.21.151(主)

192.168.21.152(子)

192.168.21.153(子)

 

步骤

1、jdk安装(每个节点都要安装，并配置环境变量。此处飘过~~~)
2、ssh免密(主节点到子节点的免密，此处飘过~~~)
3、解压
tar -zxvf flink-1.7.1-bin-hadoop28-scala_2.12.tgz ##解压
mv flink-1.7.1 flink ##重命名
mkdir -p /usr/local/ ##创建目录(一般linux会存在此目录)
mv flink /usr/local/ ##移动目录

4、修改配置(可稍微仔细看下)
vim /usr/local/flink/conf/flink-conf.yaml  
##env.java.home 可以指定JAVA_HOME
###jobmanager.rpc.address密钥设置为指向主节点
jobmanager.rpc.address: 192.168.21.151
##jobmanager.heap.mb和taskmanager.heap.mb键来定义允许JVM在每个节点上分配的最大主内存量。MB为单位
jobmanager.heap.mb: 6000m
taskmanager.heap.mb: 6000m

#每个JobManager（jobmanager.heap.mb）的可用内存量，
#每个TaskManager（taskmanager.heap.mb）的可用内存量，
#每台机器的可用CPU数量（taskmanager.numberOfTaskSlots），
#集群中的CPU总数（parallelism.default）和
#临时目录（taskmanager.tmp.dirs）

5、添加子节点配置
 > slaves
 echo "192.168.21.152" >>slaves
 echo "192.168.21.153" >>slaves
 cat slaves

6、将flink拷贝到每个节点
scp -r  /usr/local/flink root@192.168.21.152:/usr/local/
scp -r  /usr/local/flink root@192.168.21.153:/usr/local/

7、flink集群启动和停止
/usr/local/flink/bin/start-cluster.sh ##启动
/usr/local/flink/bin/stop-cluster.sh ##停止
查看进程：jps

8、访问 (到此，万里长征第一步结束)
http://192.168.21.151:8081/#/overview

 

 

总结：

     到此呢，独立集群是完成了。但是要在上面做开发什么的，还远远没有开始。后续我准备继续研究，也求大神们指点一把，求带呀~~~！没有人指点路途坎坷呀!