scala+spark1

一、集合collection

  1. 概念说明
  • 该集合与java中的集合类似,只是scala重新实现了自身的集合抽象

  • 分为可变集合和不可变集合

  • 常用集合列表

    序号集合类说明
    1Scala List(列表)元素以线性方式存储,集合中可以存放重复对象。
    2Scala Set(集合)集合中的对象不按特定的方式排序,并且没有重复对象。
    3Scala Map(映射)KV对存储
    4Scala 元组元组是不同类型的值的集合
    5Scala Option表示有可能包含值的容器,也可能不包含值。
    6Scala Iterator迭代器迭代器不是一个容器,更确切的说是逐一访问容器内元素的方法
  1. 应用示例
  • scala List(列表)
    • 概念说明
      • 类似于数组,要求所有元素的类型都相同,通过泛型来约束
      • 列表是不可变集合,一旦定义了就不能改变
      • 列表具有递归定义的性质,可以嵌套定义,这是与数组最大的不一样
  1. 常用操作
  • head 返回列表第一个元素
  • tail 返回一个列表,包含除了第一元素之外的其他元素
  • isEmpty在列表为空时返回true
  • ::: 运算符或List.::😦) 方法或list.concat()方法来连接两个或多个列表
  • List.fill() 方法来创建一个指定重复数量的元素列表
  • List.tabulate() 方法是通过给定的函数来创建列表。
  • List.reverse 用于将列表的顺序反转
  1. scala set
  • 概念说明
    • 没有重复的对象集合,所有的元素都是唯一的
    • Set集合分为可变的和不可变的集合
    • 默认使用不可变集合,完整类路径为:scala.collection.immutable.Set
    • 若要引用可变集合类型,则类路径为:scala.collection.mutable.Set
  • 常用操作
    • head 返回集合第一个元素
    • tail 返回一个集合,包含除了第一元素之外的其他元素
    • isEmpty 在集合为空时返回true
    • 使用 ++ 运算符或 Set.++() 方法来连接两个集合
    • 使用 Set.min 方法来查找集合中的最小元素,使用 Set.max 方法查找集合中的最大元素
    • 使用 Set.& 方法或 Set.intersect 方法来查看两个集合的交集元素。
  • scala map(映射)
    • 概念说明
      • 一种可迭代的键值对(key/value)结构,也称为哈希表
      • 所有的值都可以通过键来获取,键值是唯一的
      • 两种类型,可变与不可变,区别在于可变对象可以修改它,而不可变对象不可以
      • 默认使用的不可变 Map,可变的Map需要使用import scala.collection.mutable.Map
  1. 关于不可变和可变Map的总结
  • 不可变Map
    • api不太丰富
    • 如果是var修饰,引用可变,支持读写(其内部实现是新new一个map对象进行的新数据的存储)
    • 如果是val修饰,引用不可变,只能写入一次值,其后只读
  • 可变map
    • api丰富与Java中Map基本类似
    • 如果是var修饰,引用可变,支持读写
    • 如果是val修饰,引用不可变,支持读写
  • 总结
    • 可变与不可变,主要是通过val和var来限定达到意图
    • api丰富程度不一样
  1. 常用操作
  • keys:返回 Map 所有的键(key)
  • values:返回 Map 所有的值(value)
  • isEmpty:在 Map 为空时返回true
  • 使用**++运算符或Map.++()**方法来连接两个Map,Map合并时会移除重复的key。
  • 通过foreach循环输出Map中的keys和values:
  • 使用Map.contains方法来查看Map中是否存在指定的Key
  1. scala 元组
  • 概念说明
    • 与列表相似,元组是不可变的
    • 与列表不同的是,元组可以包含不同类型的元素
    • 元组是通过"( )"来定义的
  • scala option[T]
    • 概念说明
      • 表示有可能包含值的容器,也可能不包含值。主要用来表示一个值是可选的
      • Option[T] 是一个类型为 T 的可选值的容器: 如果值存在, Option[T] 就是一个 Some[T] ,如果不存在, Option[T] 就是对象 None 。
    • 常用方法
      • getOrElse() 方法来获取元组中存在的元素或者使用其默认的值
      • isEmpty() 方法来检测元组中的元素是否为 None
  • scala Iterator(迭代器)
    • 概念说明
      • 不是一个集合,它是一种用于访问集合的方法。
      • 基本操作是hasNext和next
    • 常用方法或属性
      • it.hasNext() 用于检测集合中是否还有元素。
      • it.next() 会返回迭代器的下一个元素,并且更新迭代器的状态
      • § max:取得迭代器对应集合的最大值
      • § min:取得迭代器对应集合的最小值
      • § size/length:取得迭代器对应集合的长度

二、类和对象

  1. 概念说明
  • 类和对象通用说明
    • 类和对象的抽象,而对象是类的具体示例
    • 类是抽象的,不占用内存,而对象是具体的,占用存储空间。
    • 类是用于创建对象的模板,它定义包括在特定类型的对象中的方法和变量。
  • scala类和对象介绍
    • 一个Scala源文件中可以有多个类。
    • 类访问修饰符默认均是public的,并不需要声明
    • 通过new来实例化类,生成相应的对象
    • 类本身是不能作为程序主入口的,必须通过定义Object对象,该对象的main方法作为程序的主入口
  1. 类继承
  • 概念说明
    • Scala继承一个基类跟Java很相似,但有若干不同之处。
    • 重写一个非抽象方法必须使用override修饰符
    • 只有主构造函数才可以往基类的构造函数里写参数
    • 在子类中重写父类的抽象方法时,你不需要使用override关键字
  1. 单例模式
  • 概念说明
    • static 在scala中是没有的,不符合纯面向对象的模型
    • scala中使用object关键字来解决单例模式问题。object与类的区别是object不能够带参数。
  1. scala经典版单例模式
  • 概念说明
    • 伴生对象:除了定义的类之外,还要定义一个同名的 object 对象,当单例对象与某个类共享同一个名称时,他被称作是这个类的伴生对象:companion object
    • 伴生类:该伴生对象对应的类,即为伴生类companion class
    • 必须在同一个源文件里定义类和它的伴生对象
    • 类和它的伴生对象可以互相访问其私有成员

三、特质trait

  1. 概念说明
  • 相当于Java的接口和抽象类的二合一,即可以当接口使用,也可以像抽象类去定义实际的方法和抽象方法去使用。
  • 特质是支持多继承的,解决了scala单继承的问题,间接达到scala多继承的效果。
  • 用关键字trait来定义特质

四、模式匹配

  1. 概念介绍
  • 类比于java中的switch…case,但比其要强大、灵活很多。
  • 旨在解决符合一定模式(值也是模式的一种)情况下的匹配与处理问题。
  1. 使用说明
  • 一个模式匹配包含了一系列备选项,每个都开始于关键字case。每个备选项都包含了一个模式及一到多个表达式。箭头符号**=>**隔开了模式和表达式。
  • 选择器 match {备选项},match 表达式通过以代码编写的先后次序尝试每个模式来完成计算,只要发现有一个匹配的case,剩下的case不会继续匹配。

五、正则表达式

  1. 概念说明
  • 与Java当中的正则表达式的作用完全相同正则表达式,又称规则表达式。(英语:RegularExpression,在代码中常简写为regex、regexp或RE)通常被用来验证、检索、替换那些符合某个模式(规则)的文本。对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符、及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。
    • 用"".r或是scala.util.matching 包中的 Regex 类实现对正则的支持抽象。
  1. scala正则表达式列表

    元字符描述
    \将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如,“\n”匹配\n。“\n”匹配换行符。序列“\”匹配“\”而“(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。
    ^匹配输入字符串的开始位置。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。
    $匹配输入字符串的结束位置。如果设置了RegExp对象的Multiline属性,$也匹配“\n”或“\r”之前的位置。
    *匹配前面的子表达式任意次。例如,zo*能匹配“z”,“zo”以及“zoo”。*等价于{0,}。
    +匹配前面的子表达式一次或多次(大于等于1次)。例如,“zo+”能匹配“zo”以及“zoo”,但不能匹配“z”。+等价于{1,}。
    ?匹配前面的子表达式零次或一次。例如,“do(es)?”可以匹配“do”或“does”中的“do”。?等价于{0,1}。
    {n}n是一个非负整数。匹配确定的n次。例如,“o{2}”不能匹配“Bob”中的“o”,但是能匹配“food”中的两个o。
    {n,}n是一个非负整数。至少匹配n次。例如,“o{2,}”不能匹配“Bob”中的“o”,但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”。
    {n,m}m和n均为非负整数,其中n<=m。最少匹配n次且最多匹配m次。例如,“o{1,3}”将匹配“fooooood”中的前三个o。“o{0,1}”等价于“o?”。请注意在逗号和两个数之间不能有空格。
    .点匹配除“\r\n”之外的任何单个字符。要匹配包括“\r\n”在内的任何字符,请使用像“[\s\S]”的模式。
    (pattern)匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到,在VBScript中使用SubMatches集合,在JScript中则使用$0…$9属性。要匹配圆括号字符,请使用“(”或“)”。
    (?:pattern)匹配pattern但不获取匹配结果,也就是说这是一个非获取匹配,不进行存储供以后使用。这在使用或字符“(|)”来组合一个模式的各个部分是很有用。例如“industr(?:y|ies)”就是一个比“industry|industries”更简略的表达式。
    (?=pattern)正向肯定预查,在任何匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如,“Windows(?=95|98|NT|2000)”能匹配“Windows2000”中的“Windows”,但不能匹配“Windows3.1”中的“Windows”。预查不消耗字符,也就是说,在一个匹配发生后,在最后一次匹配之后立即开始下一次匹配的搜索,而不是从包含预查的字符之后开始。
    (?!pattern)正向否定预查,在任何不匹配pattern的字符串开始处匹配查找字符串。这是一个非获取匹配,也就是说,该匹配不需要获取供以后使用。例如“Windows(?!95|98|NT|2000)”能匹配“Windows3.1”中的“Windows”,但不能匹配“Windows2000”中的“Windows”。
    (?<=pattern)反向肯定预查,与正向肯定预查类似,只是方向相反。例如,“(?<=95|98|NT|2000)Windows”能匹配“2000Windows”中的“Windows”,但不能匹配“3.1Windows”中的“Windows”。
    (?<!pattern)反向否定预查,与正向否定预查类似,只是方向相反。例如“(?<!95|98|NT|2000)Windows”能匹配“3.1Windows”中的“Windows”,但不能匹配“2000Windows”中的“Windows”。
    x|y匹配x或y。例如,“z|food”能匹配“z”或“food”或"zood"(此处请谨慎)。“(z|f)ood”则匹配“zood”或“food”。
    [xyz]字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。
    [^xyz]负值字符集合。匹配未包含的任意字符。例如,“[^abc]”可以匹配“plain”中的“plin”。
    [a-z]字符范围。匹配指定范围内的任意字符。例如,“[a-z]”可以匹配“a”到“z”范围内的任意小写字母字符。 注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.
    [^a-z]负值字符范围。匹配任何不在指定范围内的任意字符。例如,“[^a-z]”可以匹配任何不在“a”到“z”范围内的任意字符。
    \b匹配一个单词边界,也就是指单词和空格间的位置(即正则表达式的“匹配”有两种概念,一种是匹配字符,一种是匹配位置,这里的\b就是匹配位置的)。例如,“er\b”可以匹配“never”中的“er”,但不能匹配“verb”中的“er”。
    \B匹配非单词边界。“er\B”能匹配“verb”中的“er”,但不能匹配“never”中的“er”。
    \cx匹配由x指明的控制字符。例如,\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则,将c视为一个原义的“c”字符。
    \d匹配一个数字字符。等价于[0-9]。
    \D匹配一个非数字字符。等价于[^0-9]。
    \f匹配一个换页符。等价于\x0c和\cL。
    \n匹配一个换行符。等价于\x0a和\cJ。
    \r匹配一个回车符。等价于\x0d和\cM。
    \s匹配任何不可见字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]。
    \S匹配任何可见字符。等价于[^ \f\n\r\t\v]。
    \t匹配一个制表符。等价于\x09和\cI。
    \v匹配一个垂直制表符。等价于\x0b和\cK。
    \w匹配包括下划线的任何单词字符。类似但不等价于“[A-Za-z0-9_]”,这里的"单词"字符使用Unicode字符集。
    \W匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。
    \xn匹配n,其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如,“\x41”匹配“A”。“\x041”则等价于“\x04&1”。正则表达式中可以使用ASCII编码。
    \num匹配num,其中num是一个正整数。对所获取的匹配的引用。例如,“(.)\1”匹配两个连续的相同字符。
    \n标识一个八进制转义值或一个向后引用。如果\n之前至少n个获取的子表达式,则n为向后引用。否则,如果n为八进制数字(0-7),则n为一个八进制转义值。
    \nm标识一个八进制转义值或一个向后引用。如果\nm之前至少有nm个获得子表达式,则nm为向后引用。如果\nm之前至少有n个获取,则n为一个后跟文字m的向后引用。如果前面的条件都不满足,若n和m均为八进制数字(0-7),则\nm将匹配八进制转义值nm。
    \nml如果n为八进制数字(0-7),且m和l均为八进制数字(0-7),则匹配八进制转义值nml。
    \un匹配n,其中n是一个用四个十六进制数字表示的Unicode字符。例如,\u00A9匹配版权符号(©)。
    < >匹配词(word)的开始(<)和结束(>)。例如正则表达式<the>能够匹配字符串"for the wise"中的"the",但是不能匹配字符串"otherwise"中的"the"。注意:这个元字符不是所有的软件都支持的。
    ( )将 ( 和 ) 之间的表达式定义为“组”(group),并且将匹配这个表达式的字符保存到一个临时区域(一个正则表达式中最多可以保存9个),它们可以用 \1 到\9 的符号来引用。
    |将两个匹配条件进行逻辑“或”(Or)运算。例如正则表达式(him|her) 匹配"it belongs to him"和"it belongs to her",但是不能匹配"it belongs to them."。注意:这个元字符不是所有的软件都支持的。
    +匹配1或多个正好在它之前的那个字符。例如正则表达式9+匹配9、99、999等。注意:这个元字符不是所有的软件都支持的。
    ?匹配0或1个正好在它之前的那个字符。注意:这个元字符不是所有的软件都支持的。
    {i} {i,j}匹配指定数目的字符,这些字符是在它之前的表达式定义的。例如正则表达式A[0-9]{3} 能够匹配字符"A"后面跟着正好3个数字字符的串,例如A123、A348等,但是不匹配A1234。而正则表达式[0-9]{4,6} 匹配连续的任意4个、5个或者6个数字

六、提取器(Extractor)

  1. 概念说明
  • 提取器是从传递给它的对象中提取出构造该对象的参数。
  • 提取器是一个带有unapply方法的对象。unapply方法算是apply方法的反向操作:unapply接受一个对象,然后从对象中提取值,提取的值通常是用来构造该对象的值。
  • apply与unapply方法是互反的,apply用于构造一个对象,而不需要用new方法是其重要特点,unapply是反向解开这个对象,将其对应的参数值提取出来。

七、文件I/O

  1. 概念介绍
  • 与Java基本类似
  • 其文件写操作,直接用的都是 java中 的 I/O 类
  • 增加了少部分新IO类,并对API中做了部分简化
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值