基于 flink 的数据 etl,类似之前在公司开发的 HDSpaceX
快手
–
快手的状态引擎slimbase
单点故障场景的优化
-
机器故障作业恢复流程和时间比较长,快速发现宕机(宕机检测),预留资源,热备份
-
flink依赖的服务 kafka / hdfs 故障,kafka 集群快速切换
-
快慢数据源引发状态变大,导致作业作业不稳定
-
CPU/mem 满载,gc等,作业不稳定性
13 号下午行业实践
==========
网易云音乐 Flink SQL 平台建设实践
目前问题现状:
-
学习成本高(配置多,ddl 难定义)
-
权限管控难
-
血缘,监控,报警不统一
-
业务复杂
-
开发成本高,调试复杂
-
特殊要求无法快速满足
功能:
-
catalog 自己整合元数据
-
source 和 sink 配置化,有的参数必选,有的可选
整体架构
优化
监控的优化
血缘关系目前解决方法是解析作业参数和 SQL ddl
监控指标需要实现定义的接口
后面私下了解到这个 notebook 禁止用户直接去定义 source 和 sink function,只能靠使用注册好的 catalog,这样作业的实时血缘就能够完全依靠 catalog 实现
京东
–
详情可以参考:
https://mp.weixin.qq.com/s/rNy9-qx2QR8Nrl1dQy2F-w
日志 child first 可以自定义加载日志,print 日志级别 更改(不记得用的啥技术了)
有赞
–
flink 目前 jar 包任务在 k8s,SQL 任务在 yarn,明年四月全 on k8s
flink on k8s 的作业资源分析工具
flink jar 和 SQL 作业元数据采集
58
–
SQL 参数太多,用户配置不友好
参数配置变成按钮是否打开这样是不是更友好?
实时数仓架构
腾讯游戏
进去听的时候只看到几张 PPT 了
知乎
–
tidb/redis connecttor 的开发
关注 【 麒思妙想】解锁更多硬核。
历史文章导读:
最后
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数Java工程师,想要提升技能,往往是自己摸索成长,自己不成体系的自学效果低效漫长且无助。
因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!
合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,不论你是刚入门Java开发的新手,还是希望在技术上不断提升的资深开发者,这些资料都将为你打开新的学习之门!**
如果你觉得这些内容对你有帮助,需要这份全套学习资料的朋友可以戳我获取!!
由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!