Flink笔记1:Flink简介

Apache Flink是用于对无界和有界数据流进行状态计算的框架和分布式处理引擎。介绍了其在国内企业和行业的应用,目标是低延迟、高吞吐等。还对比了传统数据处理框架,阐述了Flink事件驱动、基于流的世界观等特点,并与Spark Streaming进行了对比。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。

1、国内企业的应用

在这里插入图片描述

2、行业的应用

  • 电商和市场营销
    数据报表、广告投放、业务流程需要
  • 物联网(IOT)
    传感器实时数据采集和显示、实时报警,交通运输业
  • 电信业
    基站流量调配
  • 银行和金融业
    实时结算和通知推送,实时检测异常行为

3、目标

  • 低延迟
  • 高吞吐
  • 结果的准确性和良好的容错性

4、传统数据处理框架

1)事务处理

在这里插入图片描述

2)分析处理

将数据从业务数据库复制到数仓,再进行分析和查询
在这里插入图片描述

3)有状态的流式处理

在这里插入图片描述

4)lambda架构

用两套系统,同时保证低延迟和结果准确
在这里插入图片描述

5、Flink主要特点

1)事件驱动

在这里插入图片描述

2)基于流的世界观

在 Flink 的世界观中,一切都是由流组成的,离线数据是有界的流;实时数据是一个没有界限的流:这就是所谓的有界流和无界流。
在这里插入图片描述

3)分层API
  • 越顶层越抽象,表达含义越简明,使用越方便
  • 越底层越具体,表达能力越丰富,使用越灵活
    在这里插入图片描述

批处理:DataSet API
流处理:DataStream API

4)其他
  • 支持事件时间(event-time)和处理时间(processing-time)语义
  • 精确一次(exactly-once)的状态一致性保证
  • 低延迟,每秒处理数百万个事件,毫秒级延迟
  • 与众多常用存储系统的连接
  • 高可用,动态扩展,实现7*24小时全天候运行
5)Flink vs Spark Streaming
  • 数据模型
    spark 采用 RDD 模型,spark streaming 的 DStream 实际上也就是一组组小批数据 RDD 的集合
    flink 基本数据模型是数据流,以及事件(Event)序列

  • 运行时架构
    spark 是批计算,将 DAG 划分为不同的 stage,一个完成后才可以计算下一个
    flink 是标准的流执行模式,一个事件在一个节点处理完后可以直接发往下一个节
    点进行处理

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值