![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
文章平均质量分 95
Flink DataStream的使用、Kafka + Flink、Flink 性能监控、Flink调优、Flink SQL执行计划、Watermark、Checkpoint、任务调度与负载均衡、状态管理、Flink SQL开发、Hive + Flink SQL
erainm
java ->大数据
展开
-
Flink1.12 -- 高级API
1. Flink四大基石Flink之所以能这么流行,离不开它最重要的四个基石:Checkpoint、State、Time、Window。Checkpoint这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照,从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来,但并没有被很广泛的应用,而Flink则把这个算法发扬光大了。 Spark最近在实现Continue streaming,Conti原创 2021-03-05 17:39:52 · 832 阅读 · 0 评论 -
Flink1.12 -- 流批一体API
1. 流处理相关概念1.1 数据的时效性 日常工作中,我们一般会先把数据存储在表,然后对表的数据进行加工、分析。既然先存储在表中,那就会涉及到时效性概念。 如果我们处理以年,月为单位的级别的数据处理,进行统计分析,个性化推荐,那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别,或者一小时甚至更小粒度的数据处理,那么就要求数据的时效性更高了。比如:对网站的实时监控、对异常日志的监控,这些场景需要工作人员立即响应,这样的场景下,传统的统一收集数据,再存到数据库中,再取出原创 2021-03-05 15:29:16 · 1305 阅读 · 3 评论 -
Flink1.12 - 概述、安装部署及快速入门
1. Flink概述1.1 Flink官方介绍flink官网地址1.2 Flink组件栈一个计算框架要有长远的发展,必须打造一个完整的 Stack。只有上层有了具体的应用,并能很好的发挥计算框架本身的优势,那么这个计算框架才能吸引更多的资源,才会更快的进步。所以 Flink 也在努力构建自己的 Stack。Flink分层的组件栈如下图所示:每一层所包含的组件都提供了特定的抽象,用来服务于上层组件。各层详细介绍:物理部署层:Flink 支持本地运行、能在独立集群或者在被 YARN 管理原创 2021-03-05 14:00:31 · 2930 阅读 · 4 评论