大数据之-flink

已于 2022-01-25 16:26:41 修改
阅读量1.1k 收藏
点赞数
文章标签： big data flink scala
于 2022-01-25 16:23:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyfvsgtxi/article/details/122687698
版权
  • Flink实战
    • Flink的具体优势
      • 1）同时支持高吞吐、低延迟、高性能
      • 2）支持事件时间
      • 3）支持有状态计算
      • 4）高度灵活的窗口
      • 5）分布式快照
      • 6）基于JVM实现独立的内存管理
      • 7）Save Points（保存点）
    • Flink编程模型
      • 数据集类型
        • 有界
        • 无界
      • flink编程接口（对表的操作方式）
        • 高级语言（用SQL）
          • SQL
        • 声明式语言（用TABLE接口）
          • table API
        • 核心API（用流批API）
          • DateStreamAPI
          • DataSetAPI
        • 底层构建模块（用底层）
      • flink程序结构
        • 环境设定（准备抽水发动机）
        • 初始化数据（输入水流）
        • 执行转换（水流，分流？）
          • lambada
          • function
            • class实现function
              • extends
            • 匿名类实现function
              • new mapfunction
            • 实现richfunction
              • new richmapfunction
        • 分区KEY指定（）
          • 位置
          • 名称
          • key选择器
        • 输出数据（输出水流）
        • 触发程序（开始接入）
      • flink数据类型
        • 数据类型支持
          • scala样例类
          • 原始类型
          • POJO
          • 元组
          • 其它特殊类型
    • DataStream API
      • Dstream编程模型(水流模型)
        • DataStream数据输入（输入水流）
          • 内置数据源
            • 文件csv
            • socket
            • 集合数据源
          • 外部数据源
            • 数据源连接器
            • 自定义数据源连接器
        • 数据转换操作（水流分流）
          • singleDstream
            • Map[Dstream->Dstream] （一进一出）
            • FlatMap[Dstream->Dstream] （一进及一个及以上出）
            • Filter[Dstrem->Dstream] （一进及一个及以下出）
            • KeyBy[Dstream->keyedDstream] （一个管道进多管道出，下游聚合）
            • reduce[KeyedDstream->Dstream]（下游管道数据合并手动）
            • aggregate[KeyedDstream->Dstream]（下游管道数据合并自动）
              • sum
              • min
              • minBy
              • maxBy
          • multiDstream
            • union[Dstream->Dstream]
            • connect\comap\coflatmap[Dstream->connectedDstream]
            • split[Dstream->SplitDstream]
              • union的逆向
            • select[splitDstream->Dstream]
            • iterator
          • 物理分区操作
            • 随机
              • shuffle
            • 重调
              • 比例平衡
            • 轮流
              • 全局平衡
            • 自定义
            • 广播
        • 数据输出
          • 基本数据输出
            • 文件
            • socket
            • 客户端
          • 第三方数据输出
            • mysql
            • kafka
            • clickhouse
        • 时间概念和watermark
          • 时间概念
            • 事件时间(event)
            • 接入时间(lngestion)
            • 处理时间(process)
          • watermark
            • 水位线
              • 衡量数据处理进度
          • 例子： watermark=2.5 ,窗口为10 =》 8,11,9,12.5 
        • windows窗口计算
          • windows Assigner窗口分配器
            • 时间
              • 滚动窗口（一段段）
                • 固定时间大小
              • 滑动窗口（重复切）
                • 滑动时间
                • 窗口时间
              • 会话窗口
                • 会话gap
                  • 不活跃数据时间周期
              • 全局窗口
                • 单个窗口计算
                • Trigger触发
            • 数量
            • 自定义
          • windows Function
            • 增量窗口
              • ReduceFunction
                • 两相同类型聚合
              • AggregateFunction
              • FoldFunction
                • 窗口元属与外部元素合并
            • 全量窗口
              • processwindowFunction
                • 所有数据元素
                • 状态数据
                • 窗口元数据
          • Trigger窗口触发
            • 自定义
            • 内置
              • eventTimeTrigger
                • watermark和窗口endtime
              • processTimeTrigger
                • process与endTime
              • countinuousEventTimeTrigger
              • countinuousProcessTimeTrigger
              • CountTrigger
                • 数据量
              • DeltaTrigger
              • PurgingTrigger
          • Evictor数据剔除器
            • countEvictor
              • 数量剔除器
            • DeltaEvictor
              • 阈值剔除器
            • TimeEvictor
              • 时间剔除器
          • 延迟数据处理
            • 丢弃迟到事件
            • 重定向迟到事件
              • 重定向另外Dstream
                • 回填
            • 基于迟到事件更新
              • 延迟容忍度
          • 连续窗口计算
            • 独立窗口计算
            • 连续窗口计算
          • windows多流合并
          • 作业链和资源组
          • AsynchronousI/O异步
    • Flink状态管理和容错
      • checkPoints/savePoints
        • checkpoint检测机制
          • 目的
            • 应用异常算子恢复
          • 使用
            • cp开启和间隔设定
            • exactly-once和at-least-once
              • exactly-once
                • 准确一次
              • at-least-once
                • 至少一次
            • cp超时时间
            • 检查点最小间隔
              • 避免cp积压
            • 最大并行度执行数量
              • 提高cp效率
            • 外部检查点
              • 外部系统
          • 流程
            • 第一步：所有 source 节点 trigger Checkpoint
            • 第二步：source 节点向下游广播 barrier
            • 第三步：当 task 完成 state 备份后，会将备份数据的地址（state handle）通知给 Checkpoint coordinator
            • 第四步：下游的 sink 节点收集齐上游两个 input 的 barrier 之后，会执行本地快照
            • 第五步： Checkpoint coordinator 收集齐所有 task 的 state handle，向持久化存储中再备份一个 Checkpoint meta 文件
        • SavePoints机制
          • 升级维护集群保存状态
        • 有状态计算
          • 状态类型
            • KeyedState
            • NoneKeyedState
        • QuerableState
          • Querable架构
            • QuerAbleStateClient
              • 提交查询
              • 获取结果
            • QuerableStateClientProxy
              • 接受Client请求
              • 处理client请求
              • 访问jobmanager
              • 访问taskmanager
              • 返回结果
            • QuerableStateServer
              • 接收Proxy请求
              • 运行在Taskmanager
              • 从状态管理器获取
        • 状态管理器（水流状态存储）
          • StateBackend
            • memorystatebackend
            • Fsstatebackend
            • RocksDBstatebackend
          • 管理配置
            • 应用级别
            • 集群级别
    • DateSet API
      • DataSources（文件集合通过第三方调用接口传输）
        • 文件类数据
        • 集合类数据
        • 第三方文件系统
        • 通用数据接口
      • DataSet转换(数聚联合排序)
        • 数据处理
          • map
          • flatmap
          • mappartiton
          • filter
        • 聚合操作
          • reduce
            • 两两合并成一个元素
          • reducegroup
            • 一组元素合并一个或多个元素 
          • Aggregate
            • 一组元素合并成单值
          • distinct
            • 去重
        • 多表关联
          • join
          • outer join
            • left
            • right
            • full outer join
          • cross
            • 笛卡尔积
        • 集合操作
          • union
            •  合并
          • rebalance
            • 重平衡
          • hashpartition
            • keyhash重分区
          • RangePartition
          • SortPartition
        • 排序操作
          • first-n
          • minby/maxby
      • DataSinks数据输出
        • 文件输出接口
        • 调用数据接口
      • 迭代计算
        • 增量迭代
        • 全量迭代
      • 广播变量与分布式缓存
        • 广播变量（数据共享）
        • 分布式缓存（文件）
    • Table API
      • TableEnvironment基本操作
        • 内部Catalog注册
          • 内部Table注册
          • TableSource注册
            • 外部数据源
          • TableSink注册
            • 输出
        • 外部Catalog注册
        • DataStream或DataSet与Table转换
      • 外部连接器
        • 表连接Table connector
          • flileSystm connector
          • kafka connector
          • ES
        • Table Format表格式
          • csv
          • json
          • avro
        • table表约束
        • update modes更新方式
      • 时间概念
        • 事件事件
        • 接入时间
        • 处理时间
      • TemporalTable临时表
      • FlineTableAPI
        • 数据查询过滤
          • scan
          • select
          • filter
          • where
        • 窗口操作
          • group by window
            • 滚动
            • 滑动
            • 会话
          • over window
            • 类似rownumber
        • 聚合操作
          • groupby
          • group by window
          • overwindow
          • distinct
        • 多表关联
          • inner join
          • outer join
          • time windowed join
          • join with table function
          • join with temp table
        • 排序操作
          • orderby
        • 数据写入
          • insert into
      • 自定义函数
        • 标量函数
          • 单个或多个输入，输出确定类型单列
        • 制表函数
          • 单个或多个输入，输出单列或多列
        • 聚合函数
          • 一行和多行变一个标量值
      • FlinkSQL
        • 执行SQL
          • SQL中引用table
          • SQL中应用注册表
          • SQL中数据输出
        • 数据查询与过滤
          • select
          • where
        • groupwindows窗口操作
          • 滚动
          • 滑动
          • 会话
        • 数据聚合
          • groupby
          • group bywindow
          • over window
          • distinct 
          • grouping sets
          • having
          • UDAGG
            • 自定义聚合函数
        • 多表关联
          • inner join
          • outer join
          • Timewindowed join
          • join with table function
        • 集合操作
          • union
          • union all
          • intersect/excrpt
          • in
          • exists
duyf
关注
大数据技术之Flink
痞子磊的博客
08-04 436
1.1 初识 Flink Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林 的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的 代 码被 复制 并捐赠 给了 Apache 软件基 金会， 参加 这个 孵化项 目的 初始 成员 是 Stratosphere 系统的核心开发人员，2014 年 12 月，Flink 一跃成为 Apache 软件基金 会的顶级项目。 在德语中，Fl.
大数据学习之Flink——01初识 Flink
bingque6535的博客
07-08 352
一. Flink是什么? 1. Flink的定义 Apache Flink is a framework and distributed processing engine for stateful computations overunbounded and boundeddata streams. Flink has been designed to runinallcommon cluster environments, perform computations atin-memory speeda
10.大数据技术之Flink
wzb1983的博客
07-17 4329
​这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有Hadoop、Storm，以及后来的Spark，他们都有着各自专注的应用场景。Spark掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark的火热或多或少的掩盖了其他分布式计算的系统身影。就像Flink，也就在这个时候默默的发展着。​在国外一些社区，有很多人将大数据的计算引擎分成了4代，当然，也有很多人不会认同。我们先姑且这么认为和讨论。Flink版本Kafka版本1.12.X2.4.11.11.X。......
大数据之Flink(1) | Flink简介
Knight
11-08 303
Flink简介
Flink简介—大数据技术
Alpha_GoGo的博客
08-18 311
Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。 国内使用Flink的企业，挺多的 为什么要用Flink？ 流数据更加符合生活中数据的真实性 传统的数据架构均是基于有限数据集的 Flink可以实现低延迟、高吞吐、结果的准确性和良好的容错性 哪些行业中需要处理流数据？ 电商和市场营销：数据报表、广告投放、业务流程需要 物联网（IOT）：传感器实时数据采集和显示、实时报警，交通运输业
最新 大数据-Flink实时旅游平台（精华版）
04-10
课程主要讲解项目环境篇：项目依赖环境的安装部署，项目数据准备篇：项目中所使用的数据介绍和准备，项目分析篇：项目中涉及的模块及指标介绍和研发，项目数据服务篇：项目中分析出来的...│ 26 环境篇之flink的his
大数据-flink-mysql-connector:用于flinkcdc实时同步
02-04
flinkc-sql-connector-mysql,用于mysql数据实时同步
大数据技术之Flink教程
04-02
【大数据技术之Flink教程】 Flink，源自于Stratosphere项目，自2014年起成为Apache软件基金会的顶级项目，旨在提供一个用于分布式、高性能、随时可用以及准确的流处理应用程序的开源流处理框架。Flink的设计目标是...
六：大数据架构-Flink+AI.pdf
12-24
大数据架构在不断发展，从最初的批处理到引入流计算，再到现在的Flink+AI融合，旨在提升数据处理的实时性与效率。Flink作为一款强大的流处理引擎，它在AI领域的作用日益凸显，主要体现在流批统一和数据实时化的价值...
大数据之Flink（一）
wslzoooo的博客
02-26 812
flink是一个分布式计算/处理引擎，用于对无界和有界数据流进行状态计算。flink处理流程电商销售：实时报表、广告投放、实时推荐物联网：实时数据采集、实时报警物流配送、服务：订单状态跟踪、信息推送银行、金融：实时结算、风险检测有状态的流式处理用内存的本地状态替代传统的数据库flink核心特点：高吞吐低延迟、结果准确性、精确一次的状态一致性保证、兼容性好、高可用和动态扩展。SQL-最高层语言Table API-声明式领域专用语言。
第五课 大数据技术之Fink1.13的实战学习-状态编程和容错机制
QnHyn
06-11 143
状态编程和容错机制
大数据舞台中的Flink
大数据研习社
03-13 1227
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程： Flink大数据项目实战：http://t.cn/ExrHPl9 2014 年 Flink 作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于 Storm、Spark Streaming 以及其他流式计算引擎的是：它不仅是一个高吞吐、低...
第七课 大数据技术之Fink1.13的实战学习-Fink CEP
QnHyn
06-11 243
flink cep
一文告诉你大数据Flink是什么
叁木大数据
04-20 1593
Flink简介 一、是什么？ 1.1 起源 Flink的前身是Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apa...
大数据Flink学习——初识Flink
qianfeng_dashuju的博客
04-29 268
这是一套完整详细且持续更新的Flink系列教程、文档，旨在帮助开发者快速融入Flink开发，或作为工具文档参阅。 Flink笔记01－－初识Flink 1、前言 这将是一套持续更新的、完整的原创Flink系列学习文档，主要参考Flink官方文档，包含各种实例详解、运行原理的讲解，旨在帮助开发者快速学习Flink，或作为工具文档参阅。学习者需要有基础的大数据知识，熟悉Hadoop、Spark。...
大数据流处理之Flink概述
企业实战系列集 ●●● https://ximenjianxue.blog.csdn.net
06-13 3153
在大数据应用场景里，一般可将数据计算分为离线计算和实时计算，其中离线计算就是我们通常说的批计算处理，代表技术有Hadoop MapReduce、Hive等；实时计算也被称作流计算，代表技术是Storm、Spark Streaming、Flink等。其中，Flink即Apache Flink，它是由Apache软件基金会开发的开源流处理框架，基于Apache许可证2.0开发，其核心是用Java和Scala编写的分布式流数据流引擎。.........
Flink 内容分享(一)：Fink原理、实战与性能优化(一)_flink原理、实战与性能优化
最新发布
2401_84166497的博客
05-10 667
Flink是一个分布式流处理引擎，可以处理实时数据流和批处理数据。它支持多种数据源和数据目的地，并且提供了丰富的流处理操作，如窗口化、聚合、过滤、连接和转换等。Flink还支持多种语言编写的应用程序，如Java、Scala和Python等。高吞吐量和低延迟：Flink采用了基于内存的流处理方式，可以实现毫秒级别的低延迟和高吞吐量处理。精确一次性处理（Exactly-once processing）：Flink的流式处理引擎可以确保每条数据仅被处理一次，从而避免数据重复和丢失等问题。
离线和实时大数据开发
dyfvsgtxi的博客
03-27 847
离线和实时大数据开发 数据分类 业务系统 Web系统 通常是非格式化的文本文件 外部系统 人工整理 数据结构分类 结构化数据 半结构化数据 非结构化数据 图片 语音 视频 数据开发流程 数据采集和传输 离线 实时 数据存储处理 数据应用 数据管理 数据质量 完整性 数据信息是否存在缺失的状况 .
大数据技术之flink
11-09
Flink是一个开源的分布式流处理框架，它可以对无界和有界数据流进行处理。Flink的主要特点是高吞吐量、低延迟、高可用性和高容错性。Flink的核心是DataStream API和DataSet API，其中DataStream API用于处理无界数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值