Flink Forward Asia 2024 第一天小记

• nexmark 流处理的标准 banchmark

• 全新的流批一体架构，1.13流批 算子全部统一

流批一体实时数仓架构

流批一体的数据湖架构

• pyflink 走向成熟

• Alink 新增数十个开源算法

• Flink native on k8s（native ha）

美团

–

美团数仓架构

基于 flink 的数据 etl，类似之前在公司开发的 HDSpaceX

快手

–

快手的状态引擎slimbase

单点故障场景的优化

• 机器故障作业恢复流程和时间比较长，快速发现宕机（宕机检测），预留资源，热备份

• flink依赖的服务 kafka / hdfs 故障，kafka 集群快速切换

• 快慢数据源引发状态变大，导致作业作业不稳定

• CPU/mem 满载，gc等，作业不稳定性

13 号下午行业实践

==========

网易云音乐 Flink SQL 平台建设实践

---

目前问题现状：

• 学习成本高（配置多，ddl 难定义）

• 权限管控难

• 血缘，监控，报警不统一

• 业务复杂

• 开发成本高，调试复杂

• 特殊要求无法快速满足

功能：

• catalog 自己整合元数据

• source 和 sink 配置化，有的参数必选，有的可选

整体架构

优化

监控的优化

血缘关系目前解决方法是解析作业参数和 SQL ddl

监控指标需要实现定义的接口

后面私下了解到这个 notebook 禁止用户直接去定义 source 和 sink function，只能靠使用注册好的 catalog，这样作业的实时血缘就能够完全依靠 catalog 实现

京东

–

详情可以参考：

https://mp.weixin.qq.com/s/rNy9-qx2QR8Nrl1dQy2F-w

日志  child first 可以自定义加载日志，print 日志级别 更改（不记得用的啥技术了）

有赞

–

flink 目前 jar 包任务在 k8s，SQL 任务在 yarn，明年四月全 on k8s

总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

k8s

总结

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了

[外链图片转存中…(img-cLKCc7Vl-1719156155619)]

[外链图片转存中…(img-6khoPIMa-1719156155620)]