SparkStreaming学习
文章平均质量分 77
xptshgo
这个作者很懒,什么都没留下…
展开
-
第一课: 通过案例对SparkStreaming透彻理解三板斧之一
在流处理时代,SparkStreaming有着强大吸引力,而且发展前景广阔,加之Spark的生态系统,Streaming可以方便调用其他诸如SQL,MLlib等强大框架,它必将一统天下。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。 将Batch interval放大,相当于看到了Streaming的慢放版本,可以清楚他的各个环节,这里以黑名单过滤程序为列,进行实验。原创 2017-03-02 18:07:55 · 311 阅读 · 0 评论 -
第一课: 通过案例对SparkStreaming透彻理解三板斧之二
空间维度:Y轴代表RDD的依赖关系构成的具体的处理逻辑步骤, 是用DStream Graph 表示的 时间维度:X轴按照特定间隔不断的生成job的实例并在集群上运行 随着时间的流失基于DStream Graph不断的生成以RDD Graph也就是DAG的方式产生JOB,并通过JobSchedule的线程池的方式提交Spark Cluster不断执行。 数据在与不在,SparkStreamin原创 2017-03-05 00:11:34 · 213 阅读 · 0 评论