![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
flink
文章平均质量分 84
phial03
love coding!!! Go、Rust、Java,一名喜欢技术,热爱技术的程序猿!
展开
-
Flink核心功能和原理
1.Flink的特性支持高吞吐、低延迟、高性能的流处理支持带有事件时间的窗口(Window)操作支持有状态计算的 Exactly-once 语义支持高度灵活的窗口(time/count/session)Window 操作,以及 data-driven 驱动支持具有 BackPressure 功能的持续流模型支持基于轻量级分布式快照(Snapshot)实现的容错同时支持处理流批一体Flink 在 JVM 内部实现了自己的内存管理支持迭代计算支持程序自动优化:避免特定情况下 Shuffle原创 2022-06-20 16:28:05 · 1183 阅读 · 0 评论 -
Flink 状态管理
Flink State本文目录:状态是什么东西?有了状态能做什么?为什么离线计算中不提状态,实时计算老是提到状态这个概念?状态到底在实时计算中解决了什么问题?有了状态、为什么又出现了状态管理的概念?怎么学习 Flink 中的状态、状态管理相关的概念呢?Flink 中状态的分类?Flink 中状态的使用方式?Flink 状态后端的分类及使用建议?Flink 中状态的能力扩展 - TTL?Flink 中状态 TTL 的原理机制?Flink Checkpoint 的运行机制?Flink C原创 2022-05-02 12:18:49 · 1274 阅读 · 0 评论 -
Flink 高频面试题
6 大主题,36 个 Flink 高频面试题:⭐ 状态原理⭐ 时间窗口⭐ 编程技巧⭐ 实战经验⭐ 实时数仓⭐ 前沿探索1.状态原理1.1.状态、状态后端、Checkpoint 三者之间的区别及关系?状态:本质来说就是数据,在 Flink 中,其实就是 Flink 提供给用户的状态编程接口。比如 flink 中的 MapState,ValueState,ListState。状态后端:Flink 提供的用于管理状态的组件,状态后端决定了以什么样数据结构,什么样的存储方式去存储和管理我们原创 2022-05-02 11:53:32 · 1644 阅读 · 0 评论 -
Flink Checkpoint 执行流程及优化方案
Flink Checkpoint主要从以下几方面进行介绍:Checkpoint 执行流程checkpoint 执行失败问题分析非对齐checkpoint 优化方案动态调整 buffer 大小通用增量快照1. checkpoint 执行流程如上图所示,chechpoint 在执行过程中,可以简化为可以简化为以下四大步:在数据流中插入 checkpoint barrier;每执行到当前算子时,对算子 state 状态进行同步快照与异步上传;当算子是多输入时,要进行 barrier原创 2022-05-02 11:25:40 · 1862 阅读 · 1 评论 -
maven的settings文件配置
flink源码编译出现maven以来找不到的情况,需要配置仓库镜像,收藏于下:<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.2.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apa原创 2022-04-09 20:37:41 · 2800 阅读 · 0 评论 -
flink的job日志管理
flink job 运行设置1、pom文件依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.a原创 2022-03-30 21:24:16 · 4579 阅读 · 0 评论