- 博客(3)
- 收藏
- 关注
RSS订阅转载 sparkStreaming在线过滤黑名单
importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg.apache.spark.rdd.RDD importorg.apache.spark.streaming.StreamingC...
2016-05-05 10:18:00
301
转载 spark版本定制二
我们知道Spark Core处理的每一步都是基于RDD的，RDD之间有依赖关系。上图中的RDD的DAG显示的是有3个Action，会触发3个job，RDD自下向上依赖，RDD产生job就会具体的执行。从DSteam Graph中可以看到，DStream的逻辑与RDD基本一致，它就是在RDD...
2016-05-05 09:56:00
115
转载 spark版本定制一
Spark在 Spark Core 之上提供了很多面向不同使用场景的高层API。比如Spark Streaming、Spark SQL、GraphX、MLlib 选择spark streaming 做为源码定制的出发点的原因： 从依赖的专业知识上讲，相对于 其他API ，无...
2016-05-05 09:53:00
134
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人