streaming介绍:
1、What is Spark Streaming?(官网:http://spark.apache.org/streaming/)
Spark Streaming类似于Apache Storm,用于流式数据的处理。根据其官方文档介绍,Spark Streaming有高吞吐量和容错能力强等特点。Spark Streaming支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等等。数据输入后可以用Spark的高度抽象原语如:map、reduce、join、window等进行运算。而结果也能保存在很多地方,如HDFS,数据库等。另外Spark Streaming也能和MLlib(机器学习)以及Graphx完美融合。
2、spark streaming 优点
1)、易用
2)、容错性
3)、易整合到spark体系
3、spark与storm对比
spark: 开发语言:Scala;编程模型:DStream
Storm: 开发语言:Clojure; 编程模型:Spout/Bolt