Scala
文章平均质量分 53
介绍Scala是基础语法和使用,带你快速上手Scala。
Alfred_XiaJL
路虽远,行则将至;事虽难,做则必成。
展开
-
Spark中RDD的依赖关系
RDD 之间的关系可以从两个维度来理解: 一个是 RDD 是从哪些 RDD 转换而来, 也就是 RDD 的 parent RDD(s)是什么; 另一个就是 RDD 依赖于 parent RDD(s)的哪些 Partition(s). 这种关系就是 RDD 之间的依赖。依赖 有 2 种策略:窄依赖(transformations with narrow dependencies)宽依赖(transformations with wide dependencies)宽依赖对 Spark 去评估一个 t原创 2021-12-07 16:16:40 · 1585 阅读 · 0 评论 -
Spark Core之Spark的序列化
1 RDD 中函数的传递为什么要进行序列化操作?因为类的对象是在driver端创建,而对象的方法是在executor上执行,一般情况它们不在同一个节点上,因此需要把driver端的对象序列化到executor端,否则程序会报错。进行 Spark 进行编程的时候, 初始化工作是在 driver端完成的, 而实际的运行程序是在executor端进行的. 所以就涉及到了进程间的通讯, 数据是需要序列化的。2 传递函数import org.apache.spark.rdd.RDDimport org.a原创 2021-12-07 16:13:13 · 1407 阅读 · 0 评论 -
Scala之模式匹配
二、模式匹配函数编程语言的标配,类似于java的switch2.1 基本使用要匹配的值 match{ case 选项 => //代码 case 选项 => //代码 } eg: object PatternDemo1 { def main(args: Array[String]): Unit = { val a:Int = 10 val b:Int = 20 val op:String = Std原创 2021-12-06 15:09:12 · 226 阅读 · 0 评论 -
Scala之sorted排序的使用
一、sort排序1.1 sorted(1)简单数据结构val list1 = List(30, 50, 70, 60, 10, 20)println(list1.sorted) (2)复杂的数据结构解决方法:1)让排序的类型的有自己排序的功能 (注:该方法有局限性,不推荐)重写Comparable方法object sort { def main(args: Array[String]): Unit = { val list2 = List(new User(10, "a原创 2021-12-06 15:05:36 · 1458 阅读 · 0 评论