- 博客(3)
- 收藏
- 关注
RSS订阅原创 第一课: 通过案例对SparkStreaming透彻理解三板斧之二
空间维度：Y轴代表RDD的依赖关系构成的具体的处理逻辑步骤, 是用DStream Graph 表示的 时间维度：X轴按照特定间隔不断的生成job的实例并在集群上运行 随着时间的流失基于DStream Graph不断的生成以RDD Graph也就是DAG的方式产生JOB，并通过JobSchedule的线程池的方式提交Spark Cluster不断执行。 数据在与不在，SparkStreamin
2017-03-05 00:11:34
213
原创 第一课: 通过案例对SparkStreaming透彻理解三板斧之一
在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他诸如SQL，MLlib等强大框架，它必将一统天下。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。 将Batch interval放大，相当于看到了Streaming的慢放版本，可以清楚他的各个环节，这里以黑名单过滤程序为列，进行实验。
2017-03-02 18:07:55
311
原创 SparkContext.scala
/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional information regarding copy
2016-10-18 23:28:36
866
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人