spark 源码研读
文章平均质量分 89
明仔很忙
这个作者很懒,什么都没留下…
展开
-
Spark RDD之Dependency
概要上一篇我们介绍了代表RDD组成的(Dependency、Partition、Partitioner)之一的Partition,这篇接着介绍Dependency。Partition记录的是数据split的逻辑,Dependency记录的是transformation操作过程中Partition的演化,即这个Partition从哪来到哪去的过程,以及通过Dependency的类型判断如何处转载 2017-12-28 15:31:49 · 326 阅读 · 0 评论 -
scala 之class和object详解
1.classscala的类和C#中的类有点不一样,诸如: 声明一个未用private修饰的字段 var age,scala编译器会帮我们生产一个私有字段和2个公有方法get和set ,这和C#的简易属性类似;若使用了private修饰,则它的方法也将会是私有的。这就是所谓的统一访问原则。细节的东西太多,还是上代码在注释里面细讲吧[java] view转载 2017-12-28 16:04:22 · 1227 阅读 · 0 评论 -
Spark从外部读取数据之textFile
textFile函数/** * Read a text file from HDFS, a local file system (available on all nodes), or any * Hadoop-supported file system URI, and return it as an RDD of Strings. */转载 2018-01-23 09:15:20 · 2215 阅读 · 0 评论 -
spark算子图解
图片来源:梁洪亮老师的课件 代码来源:Spark MLlib机器学习实践 王晓华import org.apache.spark.{SparkConf, SparkContext}object WordCount{ def main(args: Array[String]) { //SparkContext 的初始化需要一个转载 2018-01-31 10:31:46 · 547 阅读 · 0 评论 -
idea+maven+scala创建wordcount,打包jar并在spark on yarn上运行(可以使用)
1、 创建基于maven的scala项目步骤(1)创建一个maven项目File->new project -> maven 不需要选择archetype,直接点击Next Next Finish,完成创建。项目目录如下: (2)将scala添加到项目中Add framework support 选择scala,以及对应的scala-sdk,完成后点击ok! (3)创建wordcoun...转载 2018-03-14 17:08:44 · 844 阅读 · 0 评论