我先简单的说一下Spark streaming,然后在想对比的说一下Structured Streaming
Spark streaming的概述
- Spark Streaming是一个基于Spark Core之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理
- Spark Streaming类似于Apache Storm,用于流式数据的处理。
- 根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。
- Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。
- 数据输入后可以用Spark的高度抽象操作如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。