1.Spark Streaming 是 Spark Core API 的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理。数据可以通过多种数据源获取,例如 Kafka,Flume,Kinesis 以及 TCP sockets,也可以通过例如 map,reduce,join,window 等的高阶函数组成的复杂算法处理。最终,处理后的数据可以输出到文件系统,数据库以及实时仪表盘中。事实上,你还可以在数据流上使用 Spark机器学习 以及 图形处理算法 。
spark Stream按照我的理解就是,三个人之间的中间人,用来把第一个人说的话以合理的方式,向第三个人说。类似的俩个人打电话 《 你 -----电话-------她 》电话是实时的接受你说的的话,然后立马传递给第三个人,因此叫流,源源不断就像一个小溪流
那么先运行一个列子看看,只要你搭建了spark就行
打开第一个黑窗口运行
Last login: Tue Aug 22 08:49:20 2017 from 192.168.1.161
[root@bigdata01 ~]# nc -lk 9999
可以看到什么都没有,那么我们继续打开第二个黑窗口,这个别关闭
[root@bigdata01 ~]# /op