大数据
文章平均质量分 77
jiangwlee
这个作者很懒,什么都没留下…
展开
-
Spark的几个基本概念:Driver和Job,Stage
Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单,对于初学者很难正确理解他们的涵义。官方解释如下(http://spark.apache.org/docs/latest/cluster-overview.html): Driver Program: The process running the main() func原创 2016-03-01 18:05:55 · 28730 阅读 · 4 评论 -
【SparkStreming】DStream中RDD所对应的周期是怎样的?
SparkStreaming中定义了DStream这个概念。但至于DStream中每个RDD所对应的时间周期是怎样的,在文档中并没有完全体现。本文从SparkStreaming源代码出发,澄清了RDD所对应的时间周期。原创 2016-05-24 18:25:36 · 3205 阅读 · 1 评论