Flink流数据采集笔记(一):介绍/特点/初识流处理

目录

一 介绍

二 特点

(一)事件驱动型

(二)流与批

(三)分层API

(四)特点总结

---

一 介绍

        Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。

二 特点

(一)事件驱动型

        从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。(Flink的计算也是事件驱动型)

        与之不同的就是SparkStreaming微批次

(二)流与批

        批:有界、大量，一般用于离线统计

        流:无界、实时, 一般用于实时统计

        spark-批

        SparkStreaming-批

        Flink-流

        无界数据流:有一个开始但是没有结束，必须连续处理无界流，也就是说必须在获取后立即处理event。对于无界数据流我们无法等待所有数据都到达，因为输入是无界的，并且在任何时间点都不会完成。处理无界数据通常要求以特定顺序（例如事件发生的顺序）获取event，以便能够推断结果完整性。

        有界数据流:有界数据流有明确定义的 开始和结束，可以在执行任何计算之前通过获取所有数据来处理有界流，处理有界流不需要有序获取，因为可以始终对有界数据集进行排序，有界流的处理也称为批处理。

(三)分层API

        

         从上到下看,功能性越来越强,但是会越来越复杂.

        Flink作为批处理还不是主流，不如Spark成熟,