一. 简介
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行
二. 下载
官网地址:https://flink.apache.org/downloads.html
最新版本已是1.8.0,我们使用得较最新版本得上一版本flink-1.7.2-bin-scala_2.11.tgz
三. 安装配置
共有安装得配置是JDK1.8
-
1. 单节点
进入目录/opt/module/flink-1.7.2/conf
a. 修改masters、salaves中得localhost为当前得主机名
b. 修改flink-conf.yaml得33行和52行
-
a) jobmanager.rpc.address:bigdata111(原localhost)
-
b) taskmanager.numberOfTaskSlots:2 (原1个)
c. 开启集群:进入/opt/module/flink-1.7.2/bin
d. 启动:start-cluster.sh
-
2. 集群模式
a. 拷贝flink-1.7.2到其他服务器
-
a) scp -rflink-1.7.2/ root@bigdata112:/opt/module/
-
b) scp -rflink-1.7.2/ root@bigdata113:/opt/module/
b. 修改每台服务器得slaves为bigdata112和bigdata113
c. 开启集群:进入/opt/module/flink-1.7.2/bin
d. 启动:start-cluster.sh
四. 页面展示
IP:8081 比如192.168.1.101:8081