Flink集群的部署安装

1.    环境准备

    Java1.7或以上

    ssh(Flink的脚本会用到ssh管理远程组件)

2.    设置ssh的免密登录

l  登录 master节点，生成一对新的公钥/私钥：

ssh-keygen -b 2048 -P '' -f ~/.ssh/id_rsa

l  将公钥添加到用于认证的authorized_keys文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

l  将authorized_keys文件分发给集群中所有的worker节点，重复执行下面这段命令：

scp ~/.ssh/authorized_keys <worker>:~/.ssh/

3.    配置JAVA_HOME:

Flink需要master和worker节点都配置了JAVA_HOME环境变量。有两种方式可以配置。一种是，你可以在conf/flink-conf.yaml中设置env.java.home配置项为Java的安装路径。另一种是，sudo vi /etc/profile，在其中添加JAVA_HOME：

export JAVA_HOME=/path/to/java_home/

4.    安装Flink

下载了最新的发布包后，拷贝到master节点上，并解压：

tar xzf flink-*.tgz

cd flink-*

5.    配置Flink

l  编辑conf/flink-conf.yaml配置Flink：

    1)    jobmanager.rpc.address配置为master节点地址

    2)    为了明确 JVM 在每个节点上所能分配的最大内存，配置jobmanager.heap.mb和taskmanager.heap.mb，单位是 MB

    3)    对于某些worker节点，可以在相应节点上设置FLINK_TM_HEAP环境变量来覆盖默认的配置

    4)    配置UI: jobmanager.web.address配置为master地址

                       web.port为访问端口

l  编辑conf/slaves文件: 输入每个worker节点的 IP/Hostname

l  特别注意：每一个worker节点上的 Flink 路径必须一致

6.    启动Flink

在master节点上：bin/start-cluster.sh

停止用：bin/stop-cluster.sh