企业数据架构的演进:传统数据处理架构、大数据Lambda架构、流程处理架构。
Flink是一种具有代表性的开源流处理架构,它实现了Google Dataflow流计算模型,是一种兼具高吞吐、低延迟和高性能的实时流计算框架,并且同时支持批处理和流处理。
Flink的主要特性包括:批流一体化、精密的状态管理、事件时间支持以及精确一次(Exactly-once)的状态一致性保障等。
12.1 Flink简介
Flink是Apache软件基金会的一个顶级项目,是为分布式、高性能、随时可用和准确的流处理应用程序打造的开源流处理架构,同时支持实时计算和批量计算。
Flink源自Stratosphere项目,该项目是在2010年到2014年由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合开展的。
2014年4月,Stratosphere代码被贡献给Apache软件基金会,成为Apache软件基金会孵化器项目。团队大部分成员创办了一家Data Artisans的公司。在项目孵化期间,为了避免与另外一个项目发生重名,Stratosphere被重新命名为Flink。德语中,Flink是“快速和灵巧”的意思。项目使用一只棕色的松鼠图案作为标志。