scala的集合体系结构
scala的集合体系结构主要包括:lterable,Seq,Set,Map
其中lterable是所有集合trait的跟trait,这个结构与Java的集合体系非常相似
scala中的集合非为可变的和不可变的两类集合;其中可变的集合就是说集合的元素可以动态修改,而不可变集合就是在初始化之后就无法修改了.分别对应scala.collection.mutable和scala.collection.immutable两个包
seq下包含了Range ArrayBuffer List等子trait.
Range就代表一个序列,通常使用"1 to 10"这种语法产生一个Range.
ArrayBuffer就类似于Java中的Arraylist
list
list代表一个不可变的列表cmd
list的创建:val list=List(1,2,3,4) cmd
list有head和tail,head代表list的第一个元素,tail代表第一个元素之后的所有元素
list.head和list.tail
list有特殊操作符::,可以用于将head和tail合并成一个list,例 0 :: list
如果第一个list只有一个元素,那么他的head就是这个元素,他的tail是Nil
例
用递归函数来给list中每个元素都加上指定前缀,并打印上前缀的元素
def decorator(l: List[Int], prefix: String) {
if (l != Nil) {
println(prefix + l.head)
decorator(l.tail, prefix)
}
}
linkedlist
linkedlist代表一个不可变的列表,使用elem可以引用其头部,使用next可以引用其尾部
val l = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5);
l.elem;
l.next
案例:使用while循环将linkedlist中的每个元素都乘以2
val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5)
var currentList = list
while (currentList != Nil) {
currentList.elem = currentList.elem * 2
currentList = currentList.next
}
println(list.toString())
案例:使用while循环将linkedlist中,从第一个元素开始每隔一个元素乘以2
val list = scala.collection.mutable.LinkedList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
var currentList = list
var first = true
while (currentList != Nil && currentList.next != Nil) {
if (first) { currentList.elem = currentList.elem * 2; first = false }
currentList = currentList.next.next
if (currentList != Nil) currentList.elem = currentList.elem * 2
}
println(list.toString())
set
set代表一个没有重复元素的集合
将重复元素加入set是没有用的,比如val s = Set(1, 2, 3); s + 1; s + 4
set不保证插入顺序,也就是说set中的元素是乱序的
val s = new scala.collection.mutable.HashSet[Int](); s += 1; s += 2; s += 5
linkedhashset会用一个链表维护插入顺序有序
val s = new scala.collection.mutable.LinkedHashSet[Int](); i += 1; s += 2; s += 5
SrotedSet会自动根据key来进行排序,
val s = scala.collection.mutable.SortedSet("orange", "apple", "banana")
集合的函数式编程(非常重要)
集合的函数式编程非常非常非常之重要!!!
必须完全掌握和理解Scala的高阶函数是什么意思,Scala的集合类的map、flatMap、reduce、reduceLeft、foreach等这些函数,就是高阶函数,因为可以接收其他函数作为参数
高阶函数的使用,也是Scala与Java最大的一点不同!!!因为Java里面是没有函数式编程的,也肯定没有高阶函数,也肯定无法直接将函数传入一个方法,或者让一个方法返回一个函数
对Scala高阶函数的理解、掌握和使用,可以大大增强你的技术,而且也是Scala最有诱惑力、最有优势的一个功能!!!
此外,在Spark源码中,有大量的函数式编程,以及基于集合的高阶函数的使用!!!所以必须掌握,才能看懂spark源码
map
案例:为每个元素都添加一个前缀
List("Leo", "Jen", "Peter", "Jack").map("name is " + _)
faltMap
案例:将list中的多行句子拆分成单词
List("Hello World", "You Me").flatMap(_.split(" "))
foreach
案例:打印list中的每个单词
List("I", "have", "a", "beautiful", "house").foreach(println(_))
zip
案例:对学生姓名和学生成绩进行关联
List("Leo", "Jen", "Peter", "Jack").zip(List(100, 90, 75, 83))
函数式编程综合案例:统计多个文本内的单词总数
/ 使用scala的io包将文本文件内的数据读取出来
val lines01 = scala.io.Source.fromFile(“C://Users//Administrator//Desktop//test01.txt”).mkString
val lines02 = scala.io.Source.fromFile(“C://Users//Administrator//Desktop//test02.txt”).mkString
// 使用List的伴生对象,将多个文件内的内容创建为一个List
val lines = List(lines01, lines02)
// 下面这一行才是我们的案例的核心和重点,因为有多个高阶函数的链式调用,以及大量下划线的使用,如果没有透彻掌握之前的课讲解的Scala函数式编程,那么下面这一行代码,完全可能会看不懂!!!
// 但是下面这行代码其实就是Scala编程的精髓所在,就是函数式编程,也是Scala相较于Java等编程语言最大的功能优势所在
// 而且,spark的源码中大量使用了这种复杂的链式调用的函数式编程
// 而且,spark本身提供的开发人员使用的编程api的风格,完全沿用了Scala的函数式编程,比如Spark自身的api中就提供了map、flatMap、reduce、foreach,以及更高级的reduceByKey、groupByKey等高阶函数
// 如果要使用Scala进行spark工程的开发,那么就必须掌握这种复杂的高阶函数的链式调用!!!
lines.flatMap(.split(" ")).map((, 1)).map(_.2).reduceLeft( + _)