大数据之Scala

Scala是一种多范式的编程语言,具有面向对象和函数式特点,它运行在jvm平台上。

Scala的特点:优雅、开发速度快、能融合到Hadoop生态圈。

一,Scala编译器安装

1、安装jdk

2、安装Scala编译器(window)

安装了编辑器,就可以在黑窗口,测试Scala语法。

在这里插入图片描述
文件编译:

scalac +文件名,将scala文件解析为.class文件,然后运行scala +文件名,进行编译

3、开发工具插件安装

二、Scala语法

1、声明变量

使用val 定义的变量,值不可修改
使用var定义的变量,值可以修改

object VariableDemo {

  def main(args: Array[String]) {
       //使用val定义的变量值是不可变的,相当于java里用final修饰的变量
       val i = 1
    
       //使用var定义的变量是可变得,在Scala中鼓励使用val
       var s = "hello"
    
       //Scala编译器会自动推断变量的类型,必要的时候可以指定类型
       //变量名在前,类型在后
       val str: String = "itcast"
  }
  
}

2、条件表达式

object ConditionDemo {

  def main(args: Array[String]) {
	    val x = 1
	    
	    //判断x的值,将结果赋给y
	    val y = if (x > 0) 1 else -1
	    //打印y的值
	    println(y)
	
	    //支持混合类型表达式
	    val z = if (x > 1) 1 else "error"
	    //打印z的值
	    println(z)
	
	    //如果缺失else,相当于if (x > 2) 1 else ()
	    val m = if (x > 2) 1
	    println(m)
	
	    //在scala中每个表达式都有值,scala中有个Unit类,写做(),相当于Java中的void
	    val n = if (x > 2) 1 else ()
	    println(n)
	
	    //if和else if
	    val k = if (x < 0) 0  else if (x >= 1) 1 else -1
	    println(k)
  }
}

3、块表达式

object BlockExpressionDemo {

  def main(args: Array[String]) {
     val x = 0
     //在scala中{}中课包含一系列表达式,块中最后一个表达式的值就是块的值
     //下面就是一个块表达式
     val result = {
        if (x < 0){
           -1
        } else if(x >= 1) {
          1
        } else {
          "error"
       }
     }
     //result的值就是块表达式的结果
     println(result)
  }
}

4、循环

for循环语法结构:for (i <- 表达式/数组/集合)

object ForDemo {
	  def main(args: Array[String]) {
	    //for(i <- 表达式),表达式1 to 10返回一个Range(区间)
	    //每次循环将区间中的一个值赋给i
	    for (i <- 1 to 10)
	      println(i)
	
	    //for(i <- 数组)
	    val arr = Array("a", "b", "c")
	    for (i <- arr)
	      println(i)
	
	    //高级for循环
	    //每个生成器都可以带一个条件,注意:if前面没有分号
	    for(i <- 1 to 3; j <- 1 to 3 if i != j)
	      print((10 * i + j) + " ")
	    println()
	
	    //for推导式:如果for循环的循环体以yield开始,则该循环会构建出一个集合
	    //每次迭代生成集合中的一个值
	    val v = for (i <- 1 to 10) yield i * 10
	    println(v)
	
	  }
	
	}

5、方法和函数

定义方法:

在这里插入图片描述
定义函数:

在这里插入图片描述
函数与方法的区别:函数可以作为参数传到方法里进行操作

—: 下划线可以把方法变成函数

三、数组

1、定义数组后,长度不可变;若是追加数据,可以使用ArrayBuffer

object ArrayDemo {
	
	  def main(args: Array[String]) {
	
	    //初始化一个长度为8的定长数组,其所有元素均为0
	    val arr1 = new Array[Int](8)
	    //直接打印定长数组,内容为数组的hashcode值
	    println(arr1)
	    
	    //将数组转换成数组缓冲,就可以看到原数组中的内容了
	    //toBuffer会将数组转换长数组缓冲
	    println(arr1.toBuffer)
	
	    //注意:如果没有new,相当于调用了数组的apply方法,直接为数组赋值
	    //初始化一个长度为1的定长数组
	    val arr2 = Array[Int](10)
	    println(arr2.toBuffer)
	
	    //定义一个长度为3的定长数组
	    val arr3 = Array("hadoop", "storm", "spark")
	    //使用()来访问元素
	    println(arr3(2))
	
	    //
	    //变长数组(数组缓冲)
	    //如果想使用数组缓冲,需要导入import scala.collection.mutable.ArrayBuffer包
	    val ab = ArrayBuffer[Int]()
	    //向数组缓冲的尾部追加一个元素
	    //+=尾部追加元素
	    ab += 1
	    
	    //追加多个元素
	    ab += (2, 3, 4, 5)
	    
	    //追加一个数组++=
	    ab ++= Array(6, 7)
	    
	    //追加一个数组缓冲
	    ab ++= ArrayBuffer(8,9)
	
	    //在数组某个位置插入元素用insert
	    ab.insert(0, -1, 0)
	    
	    //删除数组某个位置的元素用remove
	    ab.remove(8, 2)
	    println(ab)
	
	  }
}

2、遍历数组

1.增强for循环
2.好用的until会生成脚标,0 until 10 包含0不包含10

object ForArrayDemo {
	
	  def main(args: Array[String]) {
	    //初始化一个数组
	    val arr = Array(1,2,3,4,5,6,7,8)
	    //增强for循环
	    for(i <- arr)
	    println(i)
	
	    //好用的until会生成一个Range
	    //reverse是将前面生成的Range反转
	    for(i <- (0 until arr.length).reverse)
	    println(arr(i))
	 }
}

8、数组转换

yield关键字将原始的数组进行转换会产生一个新的数组,原始的数组不变

object ArrayYieldDemo {
	  def main(args: Array[String]) {
	    //定义一个数组
	    val arr = Array(1, 2, 3, 4, 5, 6, 7, 8, 9)
	    //将偶数取出乘以10后再生成一个新的数组
	    val res = for (e <- arr if e % 2 == 0) yield e * 10
	    println(res.toBuffer)
	
	    //更高级的写法,用着更爽
	    //filter是过滤,接收一个返回值为boolean的函数
	    //map相当于将数组中的每一个元素取出来,应用传进去的函数
	    val r = arr.filter(_ % 2 == 0).map(_ * 10)
	    println(r.toBuffer)

    }
}

3、数组方法

在这里插入图片描述
四、映射(Map)

immutable.map : 不可改变里面的内容

mutable.map: 可以改变里面的内容

1、创建映射

在这里插入图片描述
2、获取映射中的值
在这里插入图片描述
五、元组

元组可以装着多个不同类型的值, 元组中的角标是从1开始的;

1、创建元组

在这里插入图片描述
2、获取元组中的值

在这里插入图片描述
3、将对偶的集合转换成映射

在这里插入图片描述
4、拉链操作

在这里插入图片描述
六、集合

在Scala中集合有可变(mutable)和不可变(immutable)两种类型;

1、List

创建一个不可变的集合

object ImmutListDemo {
	
	  def main(args: Array[String]) {
	    //创建一个不可变的集合
	    val lst1 = List(1,2,3)
	    
	    //将0插入到lst1的前面生成一个新的List
	    val lst2 = 0 :: lst1
	    val lst3 = lst1.::(0)
	    val lst4 = 0 +: lst1
	    val lst5 = lst1.+:(0)
	
	    //将一个元素添加到lst1的后面产生一个新的集合
	    val lst6 = lst1 :+ 3
	
	    val lst0 = List(4,5,6)
	    //将2个list合并成一个新的List
	    val lst7 = lst1 ++ lst0
	    //将lst1插入到lst0前面生成一个新的集合
	    val lst8 = lst1 ++: lst0
	
	    //将lst0插入到lst1前面生成一个新的集合
	    val lst9 = lst1.:::(lst0)
	
	    println(lst9)
	  }
}

创建一个可变的集合

object MutListDemo extends App{

	  //构建一个可变列表,初始有3个元素1,2,3
	  val lst0 = ListBuffer[Int](1,2,3)
	  
	  //创建一个空的可变列表
	  val lst1 = new ListBuffer[Int]
	  //向lst1中追加元素,注意:没有生成新的集合
	  lst1 += 4
	  lst1.append(5)
	
	  //将lst1中的元素最近到lst0中, 注意:没有生成新的集合
	  lst0 ++= lst1
	
	  //将lst0和lst1合并成一个新的ListBuffer 注意:生成了一个集合
	  val lst2= lst0 ++ lst1
	
	  //将元素追加到lst0的后面生成一个新的集合
	  val lst3 = lst0 :+ 5
	}

+= 在原集合上追加
++ 原结婚不变,生成新的集合
++= 把后面集合追加到前面集合

集合名.flatten: 将集合压平

2、set

不可变的Set

object ImmutSetDemo extends App{

	  val set1 = new HashSet[Int]()
	  //将元素和set1合并生成一个新的set,原有set不变
	  val set2 = set1 + 4
	  //set中元素不能重复
	  val set3 = set1 ++ Set(5, 6, 7)
	  val set0 = Set(1,3,4) ++ set1
	  println(set0.getClass)
  
}

可变的Set

object MutSetDemo extends App{

	  //创建一个可变的HashSet
	  val set1 = new mutable.HashSet[Int]()
	  
	  //向HashSet中添加元素
	  set1 += 2
	  //add等价于+=
	  set1.add(4)
	  
	  set1 ++= Set(1,3,5)
	  println(set1)
	  
	  //删除一个元素
	  set1 -= 5
	  set1.remove(2)
	  println(set1)
}

3、Map

object MutMapDemo extends App{

  val map1 = new mutable.HashMap[String, Int]()
  //向map中添加数据
  map1("spark") = 1
  map1 += (("hadoop", 2))
  map1.put("storm", 3)
  println(map1)

  //从map中移除元素
  map1 -= "spark"
  map1.remove("hadoop")
  println(map1)
  
}

七、单机版计算单词(里面有的_没显示出来)

val lines = List(“hello tom hello jerry”, “hello jerry”, “hello kitty”)

方式一:
lines.flatMap(.split(" ")).map((, 1)).groupBy(_._1).map(t=>(t._1, t._2.size))

方式二:
lines.flatMap(.split(" ")).map((, 1)).groupBy(_._1).mapValues(__.size)

方式三:
lines.flatMap(.split(" ")).map((, 1)).groupBy(.1).mapValues(.foldLeft(0)(+_._2))

集合名.par: 并行计算
集合名.fold(0)( + ): 对集合先初始为0,然后把里面的内容相加

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据同盟会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值