特别说明,本博主Flink文章部分内容来自于尚硅谷的Flink系列视频,在此感谢BILIBILI学习平台和尚硅谷官方。
1.Flink官网地址
http://flink.apache.org
2.Flink简介
- Apache Flink是一个框架和分布式处理引擎(用于数据计算而非存储框架),用于对无界和有界数据流(流数据,数据是源源不断地产生)进行状态计算。快速、灵巧,出身于德国柏林。
2.Flink可实现低延迟(毫秒级响应)、高吞吐(处理数据量大,分布式环境支持)和结果的准确性及良好的容错性(通过对计算状态备份避免分布式节点中途挂了导致的从头计算)。
3.Flink可用于物联网中传感器实时数据采集、显示、实时报警。
4.Flink是事件驱动的,延续事务处理的原则。同时Flink是基于流的世界观,批处理是有界的数据流,实时处理是无界的数据流。
3.现存数据处理模式
1.事务处理:响应用户的请求,处理的数据量有限制。
2.分析处理:加入了数仓,基于数仓进行分析和查询,处理速度有限制。
3.有状态的流式处理:数据存入内存,因不稳定故加入故障检查机制,数据顺序保证有限制。
4.Storm:低延迟,吞吐量有限制。
5.Spark Streaming:高吞吐、在压力下保持正确,实时性有限制。
6.Flink:Flink集成了Storm、Spark Streaming的优点。流批一体,支持定时任务。