Flink集群之Flink Standalone集群搭建

准备资源

flink-1.7.2-bin-scala_2.11.tgz 或者是 flink-1.7.2-bin-hadoop26-scala_2.11.tgz
点击链接获取

准备环境

Centos6.5安装详解
Centos6.5虚拟机网络配置详解
把这两个准备好，下面的安装就非常容易了

解压

tar -zxvf flink-1.7.2-bin-scala_2.11.tgz

配置/flink-1.7.2/conf/flink-conf.yaml

如下代码注释，根据个人情况调整，如果不是很清楚flink相关原理，可以只把jobmanager的主机名修改，其他采用默认，等待后期深入了解之后进行调优

# jobmanager的主机名
jobmanager.rpc.address: master

# The RPC port where the JobManager is reachable.
# jobmanager的rpc端口，默认是6123
jobmanager.rpc.port: 6123


# The heap size for the JobManager JVM
# jobmanager jvm进程的堆内存大小，默认是1024M，目前我就用它默认的，等待进一步调优
jobmanager.heap.size: 1024m


# The heap size for the TaskManager JVM
# taskmanager jvm进程的堆内存大小，也就是实际运行任务的jvm最大所能占用的堆内存，目前我就用它默认的，等待进一步调优
taskmanager.heap.size: 1024m


# The number of task slots that each TaskManager offers. Each slot runs one parallel pipeline.
# 一般设置成和机器cpu核数一致，我这里先使用2
taskmanager.numberOfTaskSlots: 2

# The parallelism used for programs that did not specify and other parallelism.
# 默认任务的并行度，当代码中没有指定并行度时，则按照这里的并行度执行任务
parallelism.default: 2

修改masters

vim masters

修改slaves

vim slaves

scp -r flink-1.7.2 root@slave01:/app/
scp -r flink-1.7.2 root@slave02:/app/

从任意1个节点可以启动集群
启动命令为： bin/start-cluster.sh
执行之后jobmanager和taskmanager就全部启动了
通过jps可以查看到相应的进程，jobmanager的进程为StandaloneSessionClusterEntrypoint，其余2个taskmanager的进程为TaskManagerRunner，

记住，使用./start-cluster.sh启动，千万不能使用sh start-cluster.sh，会报错

然后可以访问浏览器界面查看web ui，这里是：http://master:8081

web ui和jobmanager同时运行，端口默认为8081，可以根据需要修改

有问题可以评论讨论