【Flink】flink的安装部署（1）

目录

Flink的安装模式

local模式安装

下载安装包

上传服务器

解压

配置环境变量

测试

启动Scala shell交互界面

scala命令行示例——单词计数

启动Flink的local集群

启动local 模式集群

查看flink 的web ui

local集群运行测试任务——单词计数

Standalone模式安装

修改Flink的配置文件

修改fink-conf.yml

masters

workers

在环境变量配置文件中指定hadoop的配置目录

分发文件

启动集群

查看web ui

启动历史服务器

如果出错，则需要再添加一个hadoop 包，详细过程在本文章后面《上面整合jar包详细过程》那个标题

查看历史服务器的web ui

standalone集群的测试任务——单词计数

 使用默认的参数执行​编辑

带参数的任务提交

工作原理

Standalone-HA模式安装

集群规划

停止flink集群

修改flink的配置文件

 修改masters文件

不用修改workers文件 同步配置文件

修改hadoop02上的flink配置文件flink-conf.yaml

重新启动flink集群

上面整合jar包详细过程

flink的webui查看

集群测试——单词计数

杀掉hadoop001的master

重新执行单词计数，查看能否正常执行

工作原理

Flink On Yarn模式安装

优点

集群规划

修改yarn的配置

启动相关服务

提交任务模式 

 Session模式提交任务

开启会话（资源）

查看yarn的web ui

提交任务-单词计数

查看yarn的web ui

再次提交一个任务

再查看yarn的web ui

关闭yarn-sesion

Per-Job模式提交任务

提交任务（job）

查看yarn的web ui

跟进查看

再次提交任务查看yarn的web ui

查看jps

flink任务提交参数总结

---

Flink的安装模式

local（本地）

本地单机模式，一般用于测试环境是否搭建成功，很少使用

standalone（独立集群模式）

flink自带集群，开发测试使用

StandAloneHA：独立集群的高可用模式，也是flink自带，用于开发测试环境

on yarn（flink on yarn）

计算资源统一由hadoop yarn管理，生产环境使用

local模式安装

下载安装包

https://pan.baidu.com/s/1xFn7ukWDp4bE0vNZI99AOQ?pwd=1234   提取码：1234

 

 

 

 

上传服务器

 

解压

 

 

 

配置环境变量

 

使环境变量起作用

source /etc/profile

测试

 

 

启动Scala shell交互界面

 

 

 

scala命令行示例——单词计数

准备好数据文件，放在/root

 

 

执行命令

benv.readTextFile("/root/a.txt").flatMap(_.split(" ")).map((_,1)).groupBy(0).sum(1).print()

ctrl+d退出交互

启动Flink的local集群

启动local 模式集群

 

 

这里不知道为啥环境变量错了，真是难受

后来知道了，原来是开两个窗口不是互通的，有clone延迟

 

 

 

查看flink 的web ui

 

local集群运行测试任务——单词计数

提交任务

flink run examples/batch/WordCount.jar --input /root/a.txt --output /root/output

 

 

 

查看结果

 

 

 

 

Standalone模式安装

	JobManager	TaskManager
hadoop01	y	y
hadoop02	n	y
hadoop03	n	y

 

修改Flink的配置文件

 

修改fink-conf.yml

注意：修改yml格式的配置文件时，key和value之间必须得有一个空格