spark Streaming 学习笔记

• spark Streaming 介绍
  spark Streaming 是 spark 核心 API 的扩展之一。用于实现实时数据流的可扩展，高吞吐量，容错流处理。数据的输入和数据的输出具体如下图：
  
  sparkStreaming 可进行复杂的运算，如 map, reduce, join, window 等。处理后的数据可流向文件系统（HDFS），数据库（Databases），实时仪器表（Bashboards）。
  sparkStreaming 的 实时处理（批处理）是准实时，也就是说有一定的延时，但是很低，可看作实时。
• spark Streaming 的处理过程
  如图：
  
  Spark Streaming 接收实时输入的数据流，并对数据流进行批处理，然后传给 Spark Engine （spark引擎）处理以批量生成结果流。
• Dstream 解析
  Spark Streaming 提供了高级抽象的discretized stream （离散流）或 DStream。DStream可以由输入源的数据流来创建，或者其他的DStrream。 DStream 表现为一系列 RDD&#x