数据流和数据流处理技术

一·数据流

首先明确数据流概念：数据流是连续不断生成的、快速变化的无界数据序列

数据流类型：

数据流大致可以分为四种类型

1.连续型数据流：不断地产生数据，数据稳定速度输入系统。

2.突发型数据流：在某特定时间或者事件的处罚下，产生大量数据。

3.周期性数据流：按一定的时间周期产生数据

4.事件驱动型数据流：由特定的事件触发而产生的数据。事件发生后，相关数据会输入系统

数据流特点：

1.动态性：数据流是不断变化着的，数据的产生和流动没有固定的形态和结构。

2.顺序性：数据通常按照产生的时间、事件顺序依次出现

3.不可预测性：数据流的大小、速度和内容很难预测

4.无限性：数据流可以无限持续地产生

5.价值时效性：数据流价值通常具有时效性，随时间推移，某些数据会失去价值。

6.数据分布不均匀：数据流中的数据在不同时间段和位置上分布不均匀

二·数据流处理

数据流处理是一种针对连续不断生成的、快速变化的数据流进行实时分析和处理的技术。它能够在数据产生的同时对其进行捕获、转换、分析和响应，以便及时获取有价值的信息和做出决策。

数据流处理工具：

1.流处理框架： Spark Streaming、F