![](https://img-blog.csdnimg.cn/20190918140012416.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink
文章平均质量分 65
Flink分类
gongpulin
这个作者很懒,什么都没留下…
展开
-
Flink窗口全解析:三种时间窗口、窗口处理函数使用及案例
我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示:// Keyed Windowstream .keyBy(...) <- 按照一个Key进行分组 .window(...) &转载 2020-09-23 14:49:42 · 2786 阅读 · 0 评论 -
Flink重点学习笔记
Flink chain优点:为了更高效的分布式执行,Flink尽可能将operator的subtask链接(chain)在一起形成task。每个task在一个线程中执行。将operators链接成task是非常有效的优化:1、它能减少线程之间的切换。2、减少消息的序列化和反序列化。3、减少数据在缓冲区的交换。4、减少延迟的同时提高整体的吞吐量。subtask链接(chain)在一起的条件:1、用户没有禁用chain2、上下游的并行度一致3、下游节点的入度为1(也就是说下游节点没有来.原创 2020-08-31 22:15:04 · 524 阅读 · 1 评论 -
Flink调度数据 or 调度计算
https://mp.weixin.qq.com/s/mN4eQklYJAy4qXK3vhWK3Q对于任何一个分布式计算框架而言,如果数据和计算不在同一个节点,那么他们中间必须有一个需要移动到另一个所在的节点。如果把计算调度到数据所在节点,那就是调度计算,反之则是调度数据,SparkStreaming和Flink的实现是不同的。Spark的核心数据结构RDD包含几个关键信息,包括数据的分片(partitions)、依赖(dependencies)等,其中还有一个用于优化执行的信息就是preferred原创 2020-08-31 22:13:31 · 397 阅读 · 0 评论 -
Flink CheckPoint奇技淫巧 | 原理和在生产中的应用
https://mp.weixin.qq.com/s/XfEteYxUvFM4GCuRKbNfJA转载 2020-08-31 22:02:20 · 137 阅读 · 0 评论 -
Flink 如何保存状态数据
[部分译自]https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html https://towardsdatascience.com/heres-how-flink-stores-your-state-7b37fbb60e1a[部分参考]https://www.infoq.cn/article/WkGozMQQExq6Xm5eJl1E https://ci.apache.org/pro转载 2020-08-31 21:55:42 · 6556 阅读 · 1 评论 -
flink1.10报错:akka.pattern.AskTimeoutException: Ask timed out on
flink1.10报错:akka.pattern.AskTimeoutException: Ask timed out on问题描述flink能正常启动,但是启动任务就失败,哪怕启动examples下面的示例程序也是报错报错内容 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20.原创 2020-08-08 16:45:26 · 1956 阅读 · 0 评论 -
Flink DataStream API 中的多面手——Process Function详解
https://mp.weixin.qq.com/s/SOCAE-t25DPVlQMxuOT0jw引言在Flink的时间与watermarks详解这篇文章中,阐述了Flink的时间与水位线的相关内容。你可能不禁要发问,该如何访问时间戳和水位线呢?首先通过普通的DataStream API是无法访问的,需要借助Flink提供的一个底层的API——Process Function。Process Function不仅能够访问时间戳与水位线,而且还可以注册在将来的某个特定时间触发的计时器(ti..转载 2020-07-23 22:02:56 · 837 阅读 · 0 评论 -
Flink数据类型和序列化
作者 | 马庆祥整理 | 毛鹤本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为 Flink 量身定制的序列化框架、Flink 序列化的最佳实践、Flink 通信层的序列化以及问答环节四部分分享。为 Flink 量身定制的序列化框架为什么定制?为什么要为 Flink 量身定制序列化框架?大家都知道现在大数据生态非常火,大多数技术组件都是运行在 JVM 上的,Flink 也转载 2020-06-29 22:10:58 · 584 阅读 · 0 评论 -
Flink 作业执行深度解析
作者 | 岳猛整理 | 毛鹤本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物理执行计划,二是生成物理执行计划后该如何调度和执行。Flink 四层转化流程Flink 有四层转换流程,第一层为 Program 到 StreamGraph;第二层为 StreamGraph 到 JobGr转载 2020-06-29 21:21:38 · 326 阅读 · 0 评论 -
如何正确使用 Flink Connector
董亭亭快手 实时计算引擎团队负责人董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。本文主要分享 Flink connector 相关内容,分为以下三个部分的内容:第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方转载 2020-06-28 21:54:32 · 1008 阅读 · 0 评论 -
Flink Runtime 核心机制剖析
1. 综述本文主要介绍 Flink Runtime 的作业执行的核心机制。本文将首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。2. Flink Runtime 整体架构Flink 的整体架构如图 1 所示。Flink 是可以运行在多种不同的环境中的,例如,它可以通过单进程多线程的方式直接运行,从而提供调试的能力。转载 2020-06-28 21:28:30 · 183 阅读 · 0 评论 -
Apache Flink 零基础入门教程(六):状态管理及容错机制
作者:孙梦瑶整理:韩非本文主要分享内容如下:状态管理的基本概念;状态的类型与使用示例;容错机制与故障恢复;一.状态管理的基本概念1.什么是状态首先举一个无状态计算的例子:消费延迟计算。假设现在有一个消息队列,消息队列中有一个生产者持续往消费队列写入消息,多个消费者分别从消息队列中读取消息。从图上可以看出,生产者已经写入 16 条消息,Offset 停留在 15 ;有 3 个消费者,有的消费快,而有的消费慢。消费快的已经消费了 13 条数据,消费者慢的才消费了 7、8 条数据。如何转载 2020-06-27 22:30:02 · 182 阅读 · 0 评论 -
Flink DataStream API编程指南
Flink DataStream API主要分为三个部分,分别为Source、Transformation以及Sink,其中Source是数据源,Flink内置了很多数据源,比如最常用的Kafka。Transformation是具体的转换操作,主要是用户定义的处理数据的逻辑,比如Map,FlatMap等。Sink(数据汇)是数据的输出,可以把处理之后的数据输出到存储设备上,Flink内置了许多的Sink,比如Kafka,HDFS等。另外除了Flink内置的Source和Sink外,用户可以实现自定义的Sou转载 2020-05-31 22:41:30 · 306 阅读 · 0 评论 -
Apache Flink 的定义、架构及原理
作者:陈守元 & 戴资力整理:闵阁陈守元(巴真)阿里巴巴高级产品专家嘉宾简介:阿里巴巴实时计算团队产品负责人,2010年毕业即加入阿里集团参与淘宝数据平台建设,近10年的大数据从业经验,开源项目Alibaba DataX发起人,当前负责阿里实时计算产品Flink的规划与设计,致力于推动Flink成为下一代大数据处理标准。戴资力(Gordon Tai)Apache Flink PMC ,Ververica Software Engineer嘉宾简介:戴资力(Go..原创 2020-05-20 23:13:40 · 652 阅读 · 0 评论 -
Flink学习资料汇总
1: 此方法返回 ['name' => 'daxia'] 的所有数据;User::find()->where(['name' => 'daxia'])->all();2: 此方法返回 ['name' => 'daxia']的一条数据User::find()->where(['name' => 'daxia'])->one();3: 在条件name的基础上,额外添加另一个原创 2016-12-19 09:27:53 · 976 阅读 · 0 评论