伪分布式系列 - 第五篇 - flink-1.8.1-bin-scala_2.12-环境搭建on hadoop3.2.0

flink的三种运行模式

单机模式

  • Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是jdk 7或更高版本,本地运行会启动Single JVM,主要用于测试调试代码。

Standalone 分布式

  • Standalone模式是flink原生提供的一种分布式独立部署方案,也是master/slave架构.
    在这里插入图片描述

on yarn

  • 和spark on yarn类似,flink向yarn申请资源,在申请的容器里执行计算任务.
    在这里插入图片描述

环境准备

下载flink

yarn安装

  • 环境变量中flink要能找到HADOOP_HONE,前文已安装,请往前找
  • 需要配置hadoop的classpath

flink配置

flink-conf.yaml

  • 默认配置

启动测试

方式一:Flink服务常驻yarn

启动flink常驻服务on yarn
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]

提交任务
./bin/flink run ./examples/batch/WordCount.jar -input hdfs:///data/wc.txt -output hdfs:///data/wc_out

方式二:Flink以单个应用形式提交

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar
©️2020 CSDN 皮肤主题: 精致技术 设计师:CSDN官方博客 返回首页