flink--环境搭建及使用

flink架构环境搭建

1. 下载flink安装包，下载地址：https://flink.apache.org/downloads.html

2. 上传flink安装包到Linux服务器上

3. 解压flink安装包

tar -xvf flink-1.9.1-bin-scala_2.11.tgz -C /bigdata/

4. 修改conf目录下的flink-conf.yaml配置文件

#指定jobmanager的地址
jobmanager.rpc.address: linux01
#指定taskmanager的可用槽位的数量
taskmanager.numberOfTaskSlots: 2

5. 修改conf目录下的slaves配置文件，指定taskmanager的所在节点

linux02
linux03

6. 将配置好的Flink拷贝到其他节点

for i in {2..3}; do scp -r flink-1.9.1/ linux0$i:$PWD; done

7. 启动flink集群和检测

• 执行启动脚本

bin/start-cluster.sh

• 执行jps命令查看Java进程

jps

• 在ndoe-1上可用看见StandaloneSessionClusterEntrypoint进程即JobManager，在其他的节点上可用看见到TaskManagerRunner 即TaskManager

访问JobManager的web管理界面，端口8081

提交Flink任务

• 第一种方式：通过web页面提交

• 第二种方式：使用命令行提交

bin/flink run -m linux01:8081 -p 4 -c org.apache.flink.streaming.examples.socket.SocketWindowWordCount examples/streaming/SocketWindowWordCount.jar --hostname linux01 --port 8888

参数说明：
-m指定主机名后面的端口为JobManager的REST的端口，而不是RPC的端口,RPC通信端口是6123
-p 指定是并行度
-c 指定main方法的全类名