Flink系列文章

Flink系列文章

1 概念

• Flink学习1-基础概念
• Flink-水位
• Flink-作业提交流程
• 浅析背压（Back Pressure）机制及其在 Spark & Flink中的实现
• Java-SPI在Flink中的应用
• 漫画 | flink watermark 一定只能用时间戳衡量？？？
• 深入解析 Flink 的算子链机制
• Flink State 误用之痛，竟然 90% 以上的 Flink 开发都不懂
• Flink1.10系列：状态管理解读
• Flink 1.11 Unaligned Checkpoint 解析
• Flink 1.11 新特性详解:【非对齐】Unaligned Checkpoint 优化高反压
• 深入解读 Flink 资源管理机制
• Flink 端到端 Exactly-once 机制剖析
• 一文搞懂 Flink 的 Exactly Once 和 At Least Once
  

2 安装和配置

• Flink学习2-安装和启动

3 使用

3.1 概览

• Flink学习3-API介绍

3.2 DataStream

3.2.1 概览

• Flink-DataStream-HDFSConnector(StreamingFileSink)
• HDFS租约与Flink StreamingFileSink
• Flink学习-DataStream-KafkaConnector

3.2.2 原理

• Flink Kafka 端到端 Exactly-Once 分析

3.2.3 例子

• Flink-StreamingFileSink-自定义序列化-Parquet批量压缩
• Flink-使用rowtime且分窗，Connector读取Kafka写入MySQL例子

3.3 Table&Sql API

3.3.1 概念

• Flink学习4-流式SQL
• Flink-FilesystemConnector和HiveConnector
• Flink-流式SQL源码分析
• Flink-时间窗口源码分析
• 阿里伍翀-flinkSql1.11demo
  补链：https://www.cnblogs.com/dingdangzhijia/p/13360889.html
  https://ververica.cn/developers/demo-flink-sql/

3.3.2 原理

• Flink 原理与实现：Table & SQL API
• Flink SQL 如何实现数据流的 Join

3.3.3 使用

• flink sql 去重算法优化
• Flink SQL 实战：HBase 的结合应用
• Flink 双流 Join 的3种操作示例
• Flink 使用 broadcast 实现维表或配置的实时更新

4 流平台

• Flink-流平台调研
• Flink-Zeppelin On FlinkSql
• BIGO 实时计算平台建设实践
• bilibili 实时平台的架构与实践
• 爱奇艺实时计算平台这样做
• 汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

5 Flink和其他技术

• HDFS租约与Flink StreamingFileSink
• Flink-Zeppelin On FlinkSql
• Flink 如何读取和写入 Clickhouse？
• Structured Streaming VS Flink

6 常见问题

• Flink学习6-常见问题
• 在 Flink 算子中使用多线程如何保证不丢数据？

7 新特性

• Flink 1.10
• Flink 1.11
• Flink 1.12

8 源码

8.1 源码编译

• 官网-Building Flink from Source
• Flink 源码解析 —— 源码编译运行
  来自阿里大佬zhisheng_blog
• Flink源码编译部署Flink
  简单明了
• Flink 1.10源代码编译,基于Flink release-1.10分支
  mvn clean install -T 2C -Dfast -Dmaven.compile.fork=true -DskipTests -Dscala-2.11快速编译

8.2 源码解析

• Flink-基于Netty的网络通信
• 阅读源码｜Spark 与 Flink 的 RPC 实现
• 两个递归彻底搞懂operator chain

8.3 源码二次开发和Bug修复

• Flink-源码Bug修复和二次开发实践

9 博客

• Flink官方博客

10 教程

• Apache Flink 钉钉群直播教程-基础篇
• Apache Flink 钉钉群直播教程-进阶篇
• Apache Flink 钉钉群直播教程-实时数仓篇
• Flink 社区最全学习渠道汇总

11 应用和实践

11.1 综合

• Apache Flink在滴滴的应用与实践
• bilibili 实时平台的架构与实践
• 日均处理万亿数据！Flink在快手的应用实践与技术演进之路
• Flink 在有赞实时计算的实践

11.2 实时数仓

• 实时数据架构，终于有人把他说清楚了！
• ULTRON — 基于Flink的实时数仓平台
• Flink1.11+Hive批流一体数仓
• 生产实践 | Flink 如何建设实时公共画像维表？
• 网易云音乐基于 Flink + Kafka 的实时数仓建设实践
• 进击的 Flink：网易云音乐实时数仓建设实践
• 当 TiDB 与 Flink 相结合：高效、易用的实时数仓
• 基于 Flink + Hive 构建流批一体准实时数仓
• 王者荣耀背后的实时大数据平台
• 腾讯看点基于 Flink 的实时数仓及多维实时数据分析实践
• 滴滴基于 Flink 的实时数仓建设实践
• 基于 Flink 的典型 ETL 场景实现方案
• 字节跳动基于Flink的MQ-Hive实时数据集成
• 美团点评 Flink 实时数仓应用经验分享
• 美团点评基于 Flink 的实时数仓平台实践
• 菜鸟实时数仓技术架构演进
• 知乎实时数仓架构演进
• 小米流式平台|实时数仓架构演进与实践
• OPPO 数据中台之基石：基于 Flink SQL 构建实数据仓库

11.3 实时分析

• 生产实践 | Flink + 直播（三）| 如何建设当前正在直播 xx 数？
• 基于Flink的用户行为日志分析系统
• Apache Flink OLAP引擎性能优化及应用
• Flink在快手实时多维分析场景的应用
• 趣头条基于Flink+ClickHouse的实时数据分析平台
• 基于 Flink 的超大规模在线实时反欺诈系统的建设与实践

11.4 实时监控

• 利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
• 从 0 到 1 搭建一套 Flink 的监控系统
• Flink全链路延迟的测量方式

11.5 机器学习

• Flink 在机器学习领域的生产落地
• 如何用一套引擎搞定机器学习全流程？

11.6 实时数据湖

• 基于 Flink+Iceberg 构建企业级实时数据湖
• 网易：Flink + Iceberg 数据湖探索与实践

11.7 实时数据同步

• 基于Binlog与Flink实时同步数据仓库实践
• 基于Binlog实时同步数据仓库问题总结

11.8 优化实践

• 快手基于 Apache Flink 的优化实践
• Flink RocksDB 状态后端参数调优实践
• 如何提高 CPU 利用率？Flink 该如何设定并行度？调大并行度一定会提高 Flink 吞吐吗？
• 并行度改变引发的血案
• Flink SQL CDC 上线！我们总结了 13 条生产实践经验
• Flink 使用大状态时的一点优化
• Flink State 最佳实践
• 如何在 Flink 中规划 RocksDB 内存容量？
• 阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？

11.9 实时推荐

• Flink + 强化学习搭建实时推荐系统
• 基于Flink商品实时推荐系统项目

11.10 实时数据采集

• 基于Flink的日志采集
• 基于 Apache Flink 的实时 Error 日志告警

11.11 其他

• Flink去重系列，共四篇

12 面试

• Flink面试通关手册
• Flink面试指南 | 终于等到你，Flink PMC葵花宝典正式发布
• Flink学习面试灵魂40问答案!
• Flink 灵魂两百问，这谁顶得住？
  zhisheng

13 社区

• 如何从 0 到 1 参与 Flink 社区？
• Flink Contributor 速成指南