Spark Streaming 总结整理(一)：Spark Streaming运行原理与核心概念

1. Spark Streaming运行原理与核心概念

Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理

支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘

在 “One Stack rule them all” 的基础上，还可以使用Spark的其他子框架，如集群学习、图计算等，对流数据进行处理

1.1 Spark Streaming运行原理

spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，spark streaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark应用实例进行处理

1.2 Spark Streaming处理的数据流图

简单描述

Spark Streaming不断的从数据源获取数据(连续的数据流)，并将这些数据按照周期划分为batch