spark Streaming 流计算

1、流计算
实时获取来自不同数据源的海量数据,经过实时分析处理,获得有价值的信息.

2、处理实时的数据,获取实时的结果,结果主动推送给用户

hadoop适合批处理

3、流计算框架:
1)storm:Twitter公司研发的.免费开源的分布式实时计算系统.可简单,高效,可靠地处理大量的流数据.

4、Spark Streaming可整合多种输入数据源,如kafka,Flume,HDFS,经处理后的数据可存入文件系统,数据库,或显示在仪表盘里.

5、spark Streaming无法实现毫秒级的流计算
而storm可是实现毫秒级响应.

6、spark Streaming采用的小批量处理的方式使得他可以同时兼容批量和实时数据处理的逻辑和算法,因此方便了一些历史数据和实时数据联合分析的特定应用场合

扫描下方公众号,获取更多内容: