flink 1.10.1的三种部署模式

首先准备好家伙

下载flink 1.10.1
https://mirror.bit.edu.cn/apache/flink/flink-1.10.1/flink-1.10.1-bin-scala_2.11.tgz 
下载jdk
https://download.oracle.com/otn/java/jdk/8u202-b08/1961070e4c9b4e26a04e7f5a083f551e/jdk-8u202-linux-x64.tar.gz

local模式

 tar -zxvf flink-1.10.1-bin-scala_2.11.tgz
 ./bin/start-cluster.sh
 访问本地 80814端口
 测试   ./bin/flink run examples/batch/WordCount.jar

standalone模式

Standalone 模式是集群模式的一种,但是这种模式一般并不运行在生产环境中,原因和 on yarn 模式相比:

Standalone 模式的部署相对简单,可以支持小规模,少量的任务运行; Stabdalone 模式缺少系统层面对集群中 Job
的管理,容易遭成资源分配不均匀; 资源隔离相对简单,任务之间资源竞争严重。

准备三台 hadoop1 hadoop2 hadoop3
|hadoop1|master|
|hadoop2|slave1|
|hadoop3|slave2|

修改 conf/flink.yaml

jobmanager.rpc.address: master
jobmanager.heap.size: 1024m
jobmanager.rpc.port: 6123
taskmanager.memory.process.size: 1568m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
jobmanager.execution.failover-strategy: region
io.tmp.dirs: /tmp

修改master文件

hadoop1

修改slave文件

hadoop2
hadoop3

拷贝到hadoop2 hadoop3

scp /opt/flink hadoop2:/opt
scp /opt/flink hadoop3:/opt

启动

./bin/start-cluster.sh

flink on yarn模式

在这里插入图片描述

必备条件

zookeeper haoop

添加hadoop的环境变量

vi /etc/profile
#添加环境变量
export HADOOP_CONF_DIR=/opt/hadoop-2.6.5/etc/hadoop
#环境变量生效
source /etc/profile

修改conf/flink-conf.yaml

high-availability: zookeeper
#数据持久化的地址,要在hdfs上面自己创建好,不然就会报错了
high-availability.storageDir: hdfs://cluster/flinkha/
high-availability.zookeeper.quorum: hadoop1:2181,hadoop2:2181,hadoop3:2181

准备机器

|hadoop1 |主节点 |
|hadoop2 |主节点|
|hadoop3 |从节点|
|hadoop4 |从节点|
|hadoop5 |从节点|

修改master

hadoop1:8081
hadoop2:8081

修改slave

hadoop3
hadoop4
hadoop5

修改zoo.cfg

server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

拷贝

scp /opt/flink hadoop3:/opt
scp /opt/flink hadoop4:/opt
scp /opt/flink hadoop5:/opt

启动

./bin/start-cluster.sh

flink on yarn 启动集群有两种方式

yarn session模式(所有的flink任务在一个yarn空间运行,这个yarn任务失败则全部flink都没了)
./bin/flink run -m yarn-cluster -yid application_xxxx ./examples/batch/WordCount.ja

flink run模式,一个flink任务提交就对应一个yarn的任务,任务之间不会有影响
./bin/flink run -yjm 1024m -ytm 4096m -ys 2 ./examples/batch/WordCount.jar

©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页