笔记
有味青年
消息流平台,实时计算,OLAP
展开
-
Flink的优势
一种兼具低延迟和高吞吐能力,同时支持窗口计算、状态和恰好一次语义的计算引擎。流批一体。主要应用场景包括实时数仓、实时大屏、实时推荐、实时报表、实时风控和实时监控,当然还有其他一些应用场景。总之,实时计算的业务需求,一般都会用 Flink 进行开发。...原创 2021-09-01 09:04:48 · 371 阅读 · 0 评论 -
分布式binlog同步
需求点同步数据源的连接数过多减少运维的复杂度,统一管理分布式调度,高可用一致性哈希,防止任务重复运行检查点机制,状态可恢复服务注册与发现数据一致性检验监控告警整体架构mysqletcdcanalmasterworkkafkaelasticsearch挑战同步延迟表结构变更任务热点...原创 2021-08-04 21:24:15 · 171 阅读 · 1 评论 -
Flink On K8S
动力K8S基础能力有保障。Flink 版本已升级至最新版。Flink On Yarn的不足。整体架构实时平台CICD(镜像构建)Flink On K8s(Ingress创建 Podtemplate)K8SLoggerMetricsAlerts网络模型KongnodePortIngress (ingress-controller+ingress)Pod状态存储HDFSOSS容量规划网络带宽任务热点DNS解析...原创 2021-08-04 21:05:10 · 295 阅读 · 0 评论