伪分布式系列 - 第五篇 - flink-1.8.1-bin-scala_2.12-环境搭建on hadoop3.2.0

flink的三种运行模式

单机模式

• Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是jdk 7或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。

Standalone 分布式

• Standalone模式是flink原生提供的一种分布式独立部署方案,也是master/slave架构.
  

on yarn

• 和spark on yarn类似,flink向yarn申请资源,在申请的容器里执行计算任务.
  

环境准备

下载flink

• 下载地址:https://flink.apache.org/downloads.html http://mirror.bit.edu.cn/apache/flink/flink-1.8.1/flink-1.8.1-bin-scala_2.12.tgz
• 版本:1.8.1 for scala 2.12
  

yarn安装

• 环境变量中flink要能找到HADOOP_HONE,前文已安装,请往前找
• 需要配置hadoop的classpath

flink配置

flink-conf.yaml

• 默认配置

启动测试

方式一:Flink服务常驻yarn

启动flink常驻服务on yarn
./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 [-d]

提交任务
./bin/flink run ./examples/batch/WordCount.jar -input hdfs:///data/wc.txt -output hdfs:///data/wc_out

方式二:Flink以单个应用形式提交

./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 ./examples/batch/WordCount.jar