学习笔记 | 解析 Spark 数据处理与分析场景

数据处理场景

按照大数据的作业类型

在数据工程与数据科学中，很大一部分数据处理任务都可以被称为批处理（Batch Processing），所谓批处理，就是对数据进行批量处理，一次性对一定量的数据进行处理，根据数据量的大小，批处理从开始到结束的时间从数十秒到数小时都有可能，当然如果时间花费太长，还是会考虑优化、切分等，因为这样作业执行失败的成本太高了。

• 批处理任务的输入和输出通常都是一批数据，在数据工程中常见的ETL场景中，经常会从数据库中抽取一部分数据进行去重后写入到存储系统，另外机器学习中训练模型都是典型的批处理。对于批处理来说，最大的缺点是数据处理任务延迟较长，无法与在线系统进行实时对接，但对于每条数据来说，消耗的计算成本是最低的。

而与批处理相对应的是流处理（Streaming Processing），与静止在某个系统中的批量数据不同，流处理在处理数据时数据是动态的，源源不断的，而且数据蕴含的价值会随着时间的流逝降低，所以需要对数据流进行实时处理。

• 流处理在数据工程领域运