SparkStreaming
文章平均质量分 93
匿名啊啊啊
这个作者很懒,什么都没留下…
展开
-
Spark学习(二)SparkStreaming的官方文档
1、SparkCore、SparkSQL和SparkStreaming的类似之处2、SparkStreaming的运行流程2.1 图解说明2.2 文字解说1、我们在集群中的其中一台机器上提交我们的Application Jar,然后就会产生一个Application,开启一个Driver,然后初始化SparkStreaming的程序入口StreamingContext;2、Master会为这个Ap...原创 2018-05-20 22:55:47 · 414 阅读 · 0 评论 -
Spark学习(一)SparkStreaming的官方文档
官网地址1、简介1.1 概述Spark Streaming 是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果...原创 2018-05-21 11:22:42 · 723 阅读 · 0 评论