Flink（一）：flink安装入门和运行架构

最新推荐文章于 2024-07-27 15:04:45 发布
最新推荐文章于 2024-07-27 15:04:45 发布
阅读量420 收藏
点赞数 1
分类专栏： 大数据 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59737088/article/details/119711045
版权
本文介绍了Apache Flink的基础知识，包括其作为内存流计算引擎的特点，与Spark的比较，以及详细安装和入门教程。文章还探讨了Flink的运行架构，如Task、Operator Chains、Job Managers、Task Managers、Clients和Task Slots，以及Checkpoint和State Backends的重要性。
摘要由CSDN通过智能技术生成

文章目录

Flink（一）：flink安装入门和运行架构

flink是什么？

Apache Flink是2014年12月份诞生的一个基于内存流计算引擎。

ApacheFlink是一个用于在无界和有界数据流上进行有状态计算的框架和分布式处理引擎。Flink被设计成在所有常见的集群环境中运行，以内存速度和任何规模执行计算。

Flink 特点

  1. 可以处理有界和无界数据流。
  2. 可以运在任何位置。（第三方资源管理器yarn，k8s等 和 自带资源管理器）
  3. 以任何规模运行应用程序
  4. 随处部署应用程序
    • 命令执行
    • 远程部署
    • 图形界面（比较常用的）
  5. 充分利用内存性能
    在这里插入图片描述

Flink和Spark比较

  • Spark底层计算是批处理模型，在批处理基础上模拟流，从而导致了流计算实时性较低（微批处理）
  • Flink底层计算是连续的流计算模型，在流计算上模拟批处理，既可以保证流的实时性又可以实现批处理
    在这里插入图片描述

安装和入门

安装

传送门

快速入门

在这里插入图片描述

  1. 导入依赖
<!-- https://mvnrepository.com/artifact/org.apache.flink/flink-streaming-scala -->
<dependency>
	<groupId>org.apache.flink</groupId>
	<artifactId>flink-streaming-scala_2.11</artifactId>
	<version>1.10.0</version>
</dependency>
  1. 引入插件
    传送门
  2. WordCount入门程序
package com.baizhi.flink

import org.apache.flink.streaming.api.scala._

object FlinkQuickStart {
  def main(args: Array[String]): Unit = {

    //1.创建执行环境
    val environment = StreamExecutionEnvironment.getExecutionEnvironment
	//设置并行度
   //environment.setParallelism(2)

    //本地运行环境
    //val environment = StreamExecutionEnvironment.createLocalEnvironment(3)

    //2.创建DataStream
    val text = environment.socketTextStream("hadoop10", 9999)

    //3.对text数据进行常规转换
    val result = text.flatMap(line=>line.split("\\s+"))
      .map(word=>(word,1))
      //keyBy就是对上面的数据做分组处理，根据0号元素分组。也就是根据输入的单词分组
      .keyBy(0) //类似于spark中的reducebykey；groupbykey
      .keyBy(0)
      .sum(1);

    //4.控制台打印结果
    result.print();

    //5.执行流计算任务
    environment.execute("myDataStreamJobTask")

  }

}

程序部署

  1. 本地 执行（直接在idea《开发工具》中运行代码）

    • 通过nc命令监听端口号9999

      nc -lk 9999

    Note:必须保证nc已经安装完成

    • 客户端程序修改为本地运行环境

      也可以直接使用StreamExecutionEnvironment.getExecutionEnvironment

      val environment = StreamExecutionEnvironment.createLocalEnvironment(3)

    • 运行程序：执行main方法

    • 在Linux的nc界面输入内容，在开发工具的控制台查看输出结果

    在这里插入图片描述

  2. 远程脚本部署

    • 客户端程序修改为自动识别运行环境

      val environment = StreamExecutionEnvironment.getExecutionEnvironment

    • 通过mvn package生成jar包

    • 把生成的jar传输到Linux系统的/tmp/flink目录下
      在这里插入图片描述

    • 通过执行flink_home/bin目录下的flink文件的run action，提交job

    在这里插入图片描述

    说明

    -c,--class <classname>
Class with the program entry point ("main()" method). Only needed if the JAR file does not specify the class in its manifest.
指定启动类

-d,--detached                        
If present, runs the job in detached mode
后台提交

-p,--parallelism <parallelism>       
The parallelism with which to run the program. Optional flag to override the
default value specified in the configuration.
指定并行度

-m,--jobmanager <arg>           
Address of the JobManager (master) to which to connect. Use this flag to connect to a different JobManager than the one specified in the configuration.
提交目标主机

    必须保证在监听9999端口号

    所有的action/option/args都不需要记忆。通过./flink --help查看帮助文档

    也可以通过 ./flink --help查看对应action的帮助文档。其中位置可以是run/list/info/cancel…

    查看运行中的job

    在这里插入图片描述

    [root@flink bin]# ./flink list --running --jobmanager flink.baizhiedu.com:8081

    查看所有job

    在这里插入图片描述

    [root@flink bin]# ./flink list --all --jobmanager flink.baizhiedu.com:8081

    取消指定job
    在这里插入图片描述
    查看程序执行计划

    在这里插入图片描述

    [root@flink bin]# ./flink info -c com.baizhi.flink.FlinkQuickStart -p 3 /tmp/flink/FlinkQuickStart-1.0-SNAPSHOT.jar 

    访问https://flink.apache.org/visualizer/，将上述命令执行之后的json复制过去查看程序执行计划

    [

  3. Web UI部署

    通过访问flink的web界面，提交job完成部署
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  4. 跨平台部署

    • 修改程序的运行环境代码，并指定并行度
       val jar = "F:\\flink\\FlinkQuickStart\\target\\FlinkQuickStart-1.0-SNAPSHOT.jar";
   val environment = StreamExecutionEnvironment.createRemoteEnvironment("flink.baizhiedu.com",8081,jar);
   //设置并行度
   environment.setParallelism(3);
    • 通过mvn package将程序打包
    • 运行main方法完成部署

运行架构

Tasks and Operator Chains（任务和算子链）

flink中，
一个main方法表示一个job，
一个job包含了很多算子，
这些算子会通过某种规则连接在一起（算子链），
很多算子连接在一起，形成了一个概念-task，【类比spark的stage】，
一个task有多少个并行度，就有几个subtask。
subtask是flink程序运行的最小单元。

与Spark不同的地方在于Spark是通过RDD的依赖关系实现Stage的划分而Flink是通过 Operator Chain的概念实现Task的拆分。该方式将多个算子归并到一个task中，从而优化计算，减少Thread-to-Thread的通信成本。
在这里插入图片描述

  • Task - 等价spark中的Stage，每个Task都有若个Subtask
  • Subtask - 等价于一个线程，是Task中的一个子任务
  • Operator Chain - 将多个算子归并到一个Task的机制，归并原则类似于SparkRDD的宽窄依赖

Job Managers, Task Managers, Clients

Flink在运行的过程中，有两种类型的进程组成

  • Job Manager - （也称为master）负责协调分布式执行。负责任务调度，协调检查点，协调故障恢 复等。等价于Spark中的Master+Driver的功能。通常一个集群中至少有1个Active的JobManager，如果在HA模式下其他处于StandBy状态。

  • Task Manager - (也称为Worker) 真正负责Task执行计算节点，同时需要向JobManager汇报自身状态信息和工作负荷。通常一个集群中有若干个TaskManager，但必须至少一个。

  • Client - Flink中的Client并不是集群计算的一部分，Client仅仅准备和提交dataflow给JobManager。提交完成之后，可以直接退出，也可以保持连接以接收执行进度，因此Client并不负责任务执行过程中调度。Client可以作为触发执行的Java/Scala程序的一部分运行，也可以在命令行窗口中运行。
    类似Spark中的Driver，但又特别不同，因为Spark Driver负责任务调度和恢复
    在这里插入图片描述

task slot [task 插槽]

task slot是代表一个taskmanager的计算能力，所有的task slot会平分taskmanager的资源，
由job中的task的最大并行度决定该任务执行所需最少的task slot，同一个job下的不同task的subtask间共享task slot
,一个任务的并行度不能大于task slot的数量，否则任务启动失败。
如果同一个Job下的不同Task的subtask间不能共享slot，就会造成非密集型subtask的阻塞，从而浪费内存。

Note:

  • 非密集型任务：source()/map()。操作占用内存量小
  • 密集型任务：keyBy()/window()/apply()。操作过程中涉及shuffle，会占用大量内存

Checkpoint/Savepoint

  • checkpoint是flink程序中做了设置，flink服务器会自动定期执行，将状态中的数据持久化到对应的存储介质。新的checkpoint执行完成之后，会把老的checkpoint丢弃掉。
  • savepoint是手动版的checkpoint，需要程序员手动执行。但是新的checkpoint完成时不会自动过期,需要手动清理。

State Backends

在checkpoint中数据持久化到哪里，由他决定。

  • The MemoryStateBackend：jobmanager的内存
  • The FsStateBackend：文件系统，比如hdfs
  • The RocksDBStateBackend：DB–flink的内置数据库，基于内存+磁盘以k-v结构存储数据

下一篇：flink（二）：DataStreamAPI和状态管理

docker安装flink
yy的博客
12-05 887
# from https://github.com/big-data-europe/docker-flink docker network create flink-net docker run --name flink-master --net flink-net -e ENABLE_INIT_DAEMON=false -d bde2020/flink-master:1.7.2-hadoop2.8 docker run --name flink-worker --net flink-net -e EN.
flink docker-compose 配置
u013257767的博客
12-05 803
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
docker 安装 flink
山巅
05-27 1853
1.创建docker-compose.yml文件 version: "2.2" services: jobmanager: image: flink:1.14.4-scala_2.11 ports: - "8081:8081" command: jobmanager environment: - | FLINK_PROPERTIES= jobmanager.rpc.address: jobmanager
Docker安装flink
11-19 403
使用docker-compose启动filnk 编写docker-compose.yml文件 vi /usr/local/flink/docker-compose.yml 内容如下： version: "2.1" services: jobmanager: image: flink:scala_2.11 expose: - "6123" ports: - "8081:8081" command: jobmanager environment
Flink入门：架构解析与单节点安装部署教程
Apache Flink是一个用于处理无界和有界数据的开源流处理框架，具备低延迟、高吞吐量以及状态管理能力。在Flink的体系结构中，主要包括以下几个核心组件： 1. **客户端（Client）**：客户端是用户与Flink交互的入口...
flink入门文档.pdf
08-16
Flink 入门文档 Flink 是一个大数据处理框架，具有批流一体、高容错、高吞吐、低延迟、大规模计算、多平台部署等核心特点。本文档将对 Flink 的核心概念、架构、API 层次进行详细介绍。 1. 核心概念 Flink 是一个...
Apache Flink实战：状态ful流处理入门与架构解析
- 入门Flink：引导读者运行第一个Flink应用程序，体验其工作原理。 - 概览：总结这一章节，强调Flink如何处理时间和状态管理。 3. **流处理基础**: - 数据流编程介绍：阐述数据流图的概念，以及数据并行性和任务...
【Flink】入门Demo实现、Flink运行架构之运行时组件，任务提交流程，任务调度原理
weixin_43923463的博客
11-23 1085
在编写程序时需要注意：Flink程序支持java和scala两种语言。在引入包中，有java和scala两种包时注意要使用对应语言的包。 总结：数据流的来源是DataStreamSource，执行map操作之后，变为单输出流的算子SingleOutputStreamOperator，经过shuffle操作之后，变为一个键控流（按照key进行逻辑分区的流）KeyedStream，分组之后的流再聚合完成之后，发送给下游，流又变成单输出流SingleOutp
Flink-安装部署与快速入门.docx
12-16
Flink 安装部署与快速入门 Flink 是一个基于 Apache 项目的开源流处理引擎，旨在提供高效、可靠、灵活的数据处理能力。下面是 Flink 安装部署与快速入门的相关知识点： 1. Flink 诞生背景 Flink 诞生于欧洲的一个...
Flink【环境搭建 01】（flink-1.9.3 集群版安装、配置、验证）
シ風
08-11 745
我使用的安装文件是 flink-1.9.3-bin-scala_2.12.tgz ，以下内容均以此版本进行说明。 说明 搭建集群首先要进行集群的规划【哪台做主节点，哪些做从节点】，这里简单搭建一个 3 节点的 Flink Standalone 集群，其中三台主机均为 worker 节点 和 Flink1 为 master 节点。 1.配置免密登录【每台服务器】 Flink 组件之间需要基于 SSH 进行通讯。 1.1 配置映射 配置 ip 地址和主机名映射：很关键通过ifconfig查询本机的ip地址，这
基于docker安装flink
batman
05-09 1556
注意：当你在流式查询上使用这种模式时，Flink 会将结果持续的打印在当前的控制台上。如果流式查询的输入是有限数据集，那么 Flink 在处理完所有的输入数据之后，作业会自动停止，同时控制台上的打印也会自动停止。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。Tableau模式（tableau mode）更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。表格模式（table mode）在内存中物化结果，并将结果用规则的分页表格的形式可视化展示出来。
Docker搭建Flink
最新发布
jixiaoyu0209的博客
07-27 783
如果你想要更方便地管理Flink集群，可以使用Docker Compose。确保你的系统已经安装了Docker。你可以直接使用官方的Flink Docker镜像，或者自己构建一个。
Flink 安装与使用
王清欢的博客
02-20 9251
01 本地模式安装 Flink 1.1 软件包下载 为了运行Flink，只需提前安装好 Java 8 或者 Java 11。可以通过以下命令来检查 Java 是否已经安装正确，如果没有的话，需要先安装 JDK。 java -version 在官方下载地址 下载对应版本并解压 tar -xzvf flink-1.14.0-bin-scala_2.11.tgz -C ~/soft/ cd ~/soft/flink-1.14.0/ 1.2 启动和停止 Flink 集群 Flink 附带了一个 bash 脚本，
docker 安装flink
T-B的博客
05-23 498
相关端口 The Web Client is on port 8081 JobManager RPC port 6123 TaskManagers RPC port 6122 TaskManagers Data port 6121 mkdir /opt/flink -p vim /opt/flink/docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: ...
Flink安装及使用
hellozhxy的博客
05-17 2105
本地部署 安装 在官网安装Flink，并解压到/usr/local/flink sudo tar -zxf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /usr/local cd /usr/local 54388226982 修改文件名字，并设置权限 sudo mv ./flink-*/ ./flink sudo chown -R hadoop:hadoop ./flink 修改配
docker安装flink应用
weixin_44022886的博客
11-02 2394
1.安装docker docker install 查看是否安装成功：docker version 因为已经安装过，会提示无法连接，systemctl start docker 就可以启动 2.安装docker-compose 3.用docker-compose安装flink 4.查看docker 镜像 5.查看启动的容器 ...
在Docker中安装Flink编程
PixelLoom的博客
09-18 514
本文提供了在Docker中安装Flink的详细步骤，并演示了如何使用Flink编写和运行一个简单的WordCount作业。Flink是一个流处理和批处理的开源框架，它提供了高效、可扩展和容错的数据处理能力。在Flink容器中，您可以使用Flink提供的命令行工具来提交和运行作业。以下是一个简单的示例，演示如何使用Flink编写和运行一个简单的WordCount作业。接下来，我们将创建一个新的Docker容器来运行Flink。现在，我们需要进入刚刚创建的Flink容器，以便进行后续的操作。
docker 安装flink；flink定位、运行
weixin_42357472的博客
06-25 6034
flink定位 flink：数据采集、提取 tensorflow：模型训练、部署 另：更原始数据数仓（收集：flume+kafka；入库：flink+clickhouse） 注意：docker pull *** 超时下载错误问题，更改国内源 win10 docker desktop再设置里更改 "registry-mirrors": [ "https://registry.docker-cn.com", "http://hub-mirror.c.163.com", "http
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值