Flink部署模式

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：

Flink大数据项目实战：http://t.cn/ExrHPl9

 

 

 Local 本地部署

Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是 Java 1.7.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。

 Standalone Cluster集群部署

软件需求

1.安装Java1.8或者更高版本

2.集群各个节点需要ssh免密登录

 

Flink Standalone 运行流程前面已经讲过，这里就不在赘叙。

Flink ON YARN

Flink ON YARN工作流程如下所示：

首先提交job给YARN，就需要有一个Flink YARN Client。

第一步：Client将Flink 应用jar包和配置文件上传到HDFS。

第二步：Client向REsourceManager注册resources和请求APPMaster  Container

第三步：REsourceManager就会给某一个Worker节点分配一个Container来启动APPMaster，JobManager会在APPMaster中启动。

第四步：APPMaster为Flink的TaskManagers分配容器并启动TaskManager，TaskManager内部会划分很多个Slot，它会自动从HDFS下载jar文件和修改后的配置，然后运行相应的task。TaskManager也会与APPMaster中的JobManager进行交互，维持心跳等。

Flink Standalone集群部署

安装Flink之前需要提前安装好JDK，这里我们安装的是JDK1.8版本。

下载

可以到官网：https://archive.apache.org/dist/flink/ 将Flink1.6.2版本下载到本地。

解压

将下载的flink-1.6.2-bin-hadoop26-scala_2.11.tgz上传至主节点

 

使用tar -zxvf flink-1.6.2-bin-hadoop26-scala_2.11.tgz命令解压flink安装包

 

方便后期flink多版本的使用，可以创建flink软连接

ln -s flink-1.6.2 flink

配置环境变量

vi ~/.bashrc

export FLINK_HOME=/home/hadoop/app/flink

export PATH=$FLINK_HOME/bin:$PATH

 

 

使配置文件生效

source ~/.bashrc

 

 

查看flink版本

flink -v

修改配置文件

1.修改flink-conf.yaml配置文件

vi flink-conf.yaml

#JobManager地址

jobmanager.rpc.address: cdh01

#槽位配置为3

taskmanager.numberOfTaskSlots: 3

 

#设置并行度为3

parallelism.default: 3

 

2.修改masters配置

vi masters

cdh01:8081

 

 

3.修改slaves配置

vi slaves

cdh01

cdh02

cdh03

主节点安装目录同步到从节点

通过deploy.sh脚本将flink安装目录同步到其他节点。

deploy.sh flink-1.6.2 /home/hadoop/app/ slave

 

 

在从节点分别创建flink软连接

ln -s flink-1.6.2 flink

启动服务

进入flink bin目录执行启动集群脚本start-cluster.sh

bin/start-cluster.sh

 

通过web查看flink集群，查看相关集群信息。

http://cdh01:8081

测试运行

查看官网案例：https://ci.apache.org/projects/flink/flink-docs-release-1.6/

 

1.启动nc服务

nc -l 9000

 

 

2.提交flink作业

bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

 

 

3.输入测试数据

 

 

4.查看运行结果

在TaskManager界面查看Flink运行结果