笔记
有味青年
消息流平台,实时计算,OLAP
展开
-
Flink的优势
一种兼具低延迟和高吞吐能力,同时支持窗口计算、状态和恰好一次语义的计算引擎。 流批一体。 主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控,当然还有其他一些应用场景。总之,实时计算的业务需求,一般都会用 Flink 进行开发。 ...原创 2021-09-01 09:04:48 · 347 阅读 · 0 评论 -
分布式binlog同步
需求点 同步数据源的连接数过多 减少运维的复杂度,统一管理 分布式调度,高可用 一致性哈希,防止任务重复运行 检查点机制,状态可恢复 服务注册与发现 数据一致性检验 监控 告警 整体架构 mysql etcd canal master work kafka elasticsearch 挑战 同步延迟 表结构变更 任务热点 ...原创 2021-08-04 21:24:15 · 112 阅读 · 1 评论 -
Flink On K8S
动力 K8S基础能力有保障。 Flink 版本已升级至最新版。 Flink On Yarn的不足。 整体架构 实时平台 CICD(镜像构建) Flink On K8s(Ingress创建 Podtemplate) K8S Logger Metrics Alerts 网络模型 Kong nodePort Ingress (ingress-controller+ingress) Pod 状态存储 HDFS OSS 容量规划 网络带宽 任务热点 DNS解析 ...原创 2021-08-04 21:05:10 · 234 阅读 · 0 评论