flink
文章平均质量分 85
二峰✔
八千里路云和月。莫等闲
展开
-
理解滑动平均(exponential moving average)
enmm,关于这个EMA算法,是在flink源码偶然间看到的,在网上搜了几篇EMA算法的介绍,感觉就这个介绍的很好=,=1、用滑动平均估计局部均值滑动平均(exponential moving average),或者叫做指数加权平均(exponentially weighted moving average),可以用来估计变量的局部均值,使得变量的更新与一段时间内的历史取值有关。变量vvv在ttt时刻记为 vtv_{t}vt,θtθ_{t}θt 为变量 vvv 在ttt 时刻的取值,即在不使.转载 2021-09-11 11:26:37 · 1513 阅读 · 0 评论 -
flink的Savepoint
其实说到flink的checkpoint,那必然也得讲讲flink的savepoint什么是 Savepoint ? Savepoint 与 Checkpoint 有什么不同?Savepoint 是依据 Flink checkpointing 机制所创建的流作业执行状态的一致镜像。 你可以使用 Savepoint 进行 Flink 作业的停止与重启、fork 或者更新。 Savepoint 由两部分组成:稳定存储(列入 HDFS,S3,…) 上包含二进制文件的目录(通常很大),和元数据文件(相对较小)翻译 2021-09-06 11:30:12 · 5446 阅读 · 0 评论 -
介绍一下flink的Watermark
前面这篇文章中有提到过watermark,相信很多小伙伴对这个东西还是不太熟,我们可以去官网上看看详情Watermark 策略简介为了使用事件时间语义,Flink应用程序都需要知道事件时间戳对应的字段,意味着数据流中的每个元素都需要拥有可分配的事件时间戳。其通常通过使用TimestampAssigner API从元素中的某个字段去访问/提取时间戳时间戳的分配与watermark的生成是齐头并进的,其可以告诉Flink应用程序事件时间的进度。可以通过指定WatermarkGenerator来配置wat翻译 2021-09-03 16:17:19 · 530 阅读 · 0 评论 -
flink的checkpoint部分源码阅读二(配置系列)
在前面我们从官网上了解了checkpoints的配置,为了加深一下大家的印象,所以我们这次从源码方面看看到底有哪些配置前言Flink 中的每个方法或算子都能够是有状态的。 状态化的方法在处理单个元素/事件 的时候存储数据,让状态成为使各个类型的算子更加精细的重要部分。 为了让状态容错,Flink 需要为状态添加 checkpoint(检查点)。Checkpoint 使得 Flink 能够恢复状态和在流中的位置,从而向应用提供和无故障执行时一样的语义。源码源码位置:在flink-streaming-原创 2021-09-03 15:18:55 · 715 阅读 · 0 评论 -
flink-认识各种算子及使用
前言用户通过算子能将一个或多个 DataStream 转换成新的 DataStream,在应用程序中可以将多个数据转换算子合并成一个复杂的数据流拓扑。接下来介绍部分算子的使用方法,大家直接复制粘贴就好,简单粗暴搭建IDEA的开发环境记得下载一个Lombok插件pom文件如下: <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>原创 2021-09-03 13:55:26 · 417 阅读 · 0 评论 -
flink的checkpoint源码部分阅读一(Checkpoint接口)
对于checkpoint的各种理论看的有点多,但是感觉都不太深刻,所以就从码云上下载源码想多了解一下前言原创 2021-09-03 11:09:57 · 435 阅读 · 0 评论 -
flink-作业调度
作业调度这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态调度Flink 通过 Task Slots 来定义执行资源。每个 TaskManager 有一到多个 task slot,每个 task slot 可以运行一条由多个并行 task 组成的流水线。 这样一条流水线由多个连续的 task 组成,比如并行度为 n 的 MapFunction 和 并行度为 n 的 ReduceFunction。需要注意的是 Flink 经常并发执行连续的 task,不翻译 2021-09-03 10:14:08 · 547 阅读 · 0 评论 -
flink的Checkpoint开启与配置
Key Default Type Descriptionstate.backend.incrementalfalse Boolean Option whether the state backend should create incremental checkpoints, if possible. For an incremental checkpoint, only a diff from the previous checkpoint is stored, rather than the com翻译 2021-09-02 15:22:12 · 14217 阅读 · 0 评论 -
flink开源组件熟悉(各方面的笔记整理)
flink开源组件熟悉(将网上的关于flink的资料整理了一下,也加上了一点自己的看法,整理不易,希望能有个赞就行)一、flink对比其他流式处理框架的区别及其优势flink的优点高吞吐、低延迟、纯流式架构支持对乱序事件的处理有状态、提供exactly-once计算高度灵活的窗口机制失败恢复、故障转移、水平扩展批处理、流处理统一的APIflink VS spark相关资料:Spark 和 Flink 全方面对比(谁是下一代大数据流计算引擎?)Spark、Strom、Flink和原创 2021-08-25 11:40:37 · 1162 阅读 · 1 评论