Flink
ll_xiaobai
这个作者很懒,什么都没留下…
展开
-
来自灵魂的发问之——Flink
祝各位秃头同行们天天开心1.Flink的抽象层级有几种Stateful stream processingCore ApiTableSql2.Window类型TimeWindowTumbling Window(滚动窗口)Sliding Window(滑动窗口)Session Window(会话窗口)Global Window(全局窗口)countWindow自定义Window3.Time类型Flink中的事件和其他流式计算系统的事件一样分为三类:事件时间,摄入事原创 2020-07-22 10:48:34 · 432 阅读 · 1 评论 -
Flink 的数据抽象及数据交换过程
Flink为了避免JVM的固有缺陷例如java对象存储密度低,FGC影响吞吐和影响等,实现了自主管理内存。flink内存管理大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中,这就不得不面对 JVM 存在的几个问题:(1)Java 对象存储密度低。一个只包含 boolean 属性的对象占用了16个字节内存:对象头占了8个,boolean 属性占了1个,对齐填充占了7个。而实际上只需要一个bi原创 2020-07-21 12:03:20 · 484 阅读 · 0 评论 -
Flink组件解析
1.什么是flink?Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 能够提供毫秒级别的延迟,同时保证了数据处理的低延迟、高吞吐和结果的正确性,还提供 了丰富的时间类型和窗口计算、Exactly-once 语义支持,另外还可以进行状态管理,并提供 了 CEP(复杂事件处理)的支持。2.Flink 的重要特点?事件驱动事件驱动型应用是一类具有状态的应用,它从一个或多个事件流提取数据,并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以 k原创 2020-07-15 17:08:38 · 1026 阅读 · 1 评论