实训日记八：Scala、Spark介绍

Scala

什么是Scala

• Scala是一种将面向对象和函数式编程结合在一起的高级语言，旨在以简洁、优雅和类型安全的方式表达通用编程模式。Scala功能强大，不仅可以编写简单脚本，还可以构建大型系统。
• Scala运行于Java平台，Scala程序会通过JVM被编译成class字节码文件，然后在操作系统上运行。其运行时候的性能通常与Java程序不分上下，并且Scala代码可以调用Java方法、继承Java类、实现Java接口等，几乎所有Scala代码都大量使用了Java类库。
• 由于Spark主要是由Scala语言编写的，为了后续更好的学习Spark以及使用Scala编写Spark应用程序，需要首先学习使用Scala语言。

Scala基础

** 数据类型 **
在Scala中，所有的值都有一个类型，包括数值和函数。

• Any是Scala类层次结构的根，也被称为超类或顶级类。Scala执行环境中的每个类都直接或间接地从该类继承。该类中定义了一些通用的方法，例如equals()、hashCode()和toString()。Any有两个直接子类：AnyVal和AnyRef。

• AnyVal表示值类型。有9种预定义的值类型，它们是非空的Double、Float、Long、Int、Short、Byte、Char、Unit和Boolean。Unit是一个不包含任何信息的值类型，和Java语言中的void等同，用作不返回任何结果的方法的结果类型。Unit只有一个实例值，写成()。
• AnyRef表示引用类型。所有非值类型都被定义为引用类型。Scala中的每个用户定义类型都是AnyRef的子类型。AnyRef对应于Java中的Java.lang.Object。
• Nothing是所有类型的子类，在Scala类层级的最低端。Nothing没有对象，因此没有具体值，但是可以用来定义一个空类型，类似于Java中的标示性接口（如：Serializable，用来标识该类可以进行序列化）。举个例子，如果一个方法抛出异常，则异常的返回值类型就是Nothing(虽然不会返回)。
• Null是所有引用类型（AnyRef）的子类，所以Null可以赋值给所有的引用类型，但不能赋值给值类型，这个和Java的语义是相同的。Null有一个唯一的单例值null。
  == Scala中的值类型可以进行转换，且转换是单向的。==

变量声明

Scala中变量的声明使用关键字val和var。

声明一个val字符串变量str：
scala> val str=“hello scala”
str: String = hello scala

声明变量时指定数据类型：
scala> val str:String=“hello scala”
str: String = hello scala

将多个变量放在一起进行声明：
scala> val x,y=“hello scala”
x: String = hello scala
y: String = hello scala
== 需要注意的地方总结如下：==
定义变量需要初始化，否则会报错。
定义变量时可以不指定数据类型，系统会根据初始化值推断变量的类型。
Scala中鼓励优先使用val（常量），除非确实需要对其进行修改。
Scala语句不需要写结束符，除非同一行代码使用多条语句时才需要使用分号隔开。

方法与函数

Scala中有方法与函数。Scala 方法是类或对象中定义的成员，而函数是一个对象，可以将函数赋值给一个变量。换句话说，方法是函数的特殊形式。
方法
方法的定义使用def关键字，语法：
def 方法名 (参数列表):返回类型={
方法体
}
例如，将两个数字求和然后返回，返回类型为Int：
def addNum( a:Int, b:Int ) : Int = {
var sum = 0
sum = a + b
return sum
}
代码简写，去掉返回类型和return关键字：
def addNum( a:Int, b:Int ) = {
var sum = 0
sum = a + b
sum
}
如果方法没有返回结果，可以将返回类型设置为Unit，类似Java中的void：
def addNum( a:Int, b:Int ) : Unit = {
var sum = 0
sum = a + b
println(sum)
}
在定义方法参数时，可以为某个参数指定默认值，在方法被调用时可以不为带有默认值的参数传入实参：
def addNum( a:Int=5, b:Int ) = {
var sum = 0
sum = a + b
sum
}
方法的调用，通过指定参数名称，只传入参数b：
addNum(b=2)
也可以将a，b两个参数都传入：
addNum(1,2)
函数
函数的定义与方法不一样，语法：
(参数列表)=>函数体
定义一个匿名函数，参数为a和b，且都是Int类型，函数体为a+b：
( a:Int, b:Int ) =>a+b
如果函数体有多行，可以将函数体放入一对{}中，并且可以通过一个变量来引用函数，变量相当于函数名称：
val f1=( a:Int, b:Int ) =>{ a+b }
对上述函数进行调用：
f1(1,2)
函数也可以没有参数：
val f2=( ) =>println(“hello scala”)
对上述函数进行调用：
f2()

Spark

Spark概述

大数据开发的总体架构

​ 可以看到，在数据计算层，作为Hadoop核心组成的MapReduce可以结合Hive通过类SQL的方式进行数据的离线计算（当然也可以编写独立的MapReduce应用程序进行计算）；而Spark既可以做离线计算（Spark SQL），又可以做实时计算（Spark Streaming），它们底层都使用的是Spark的核心（Spark Core）。

Spark初识

​ Apache Spark是一个快速通用的集群计算系统，是一种与Hadoop相似的开源集群计算环境，但是Spark在一些工作负载方面表现得更加优越。它提供了Java、Scala、Python和R的高级API，以及一个支持通用的执行图计算的优化引擎。它还支持高级工具，包括使用SQL进行结构化数据处理的Spark SQL、用于机器学习的MLlib、用于图处理的GraphX，以及用于实时流处理的Spark Streaming。

Spark的主要特点

• 快速

​ MapReduce主要包括Map和Reduce两种操作，且将多个任务的中间结果存储于HDFS中。与MapReduce相比，Spark可以支持包括Map和Reduce在内的多种操作，这些操作相互连接形成一个有向无环图(Directed Acyclic Graph, DAG)，各个操作的中间数据会被保存在内存中。因此，Spark处理速度比MapReduce更快。

• 易用

​ Spark可以使用Java、Scala、Python、R和SQL快速编写应用程序。此外，Spark还提供了超过80个高级算子，使用这些算子可以轻松构建应用程序。

• 通用

​ Spark拥有一系列库，包括SQL和DataFrame、用于机器学习的MLlib、用于图计算的GraphX、用于实时计算的Spark Streaming，可以在同一个应用程序中无缝地组合这些库。

• 到处运行

​ Spark可以使用独立集群模式运行（使用自带的独立资源调度器，称为Standalone模式），也可以运行在Hadoop YARN、Mesos（Apache下的一个开源分布式资源管理框架）等集群管理器之上，并且可以访问HDFS、HBase、Hive等数百个数据源中的数据。

Spark的主要组件

Spark是由多个组件构成的软件栈，Spark 的核心（Spark Core）是一个对由很多计算任务组成的、运行在多个工作机器或者一个计算集群上的应用进行调度、分发以及监控的计算引擎。

Spark安装

​ 下载解压缩spark-3.3.3-bin-hadoop3.tgz，重命名Spark安装目录为spark，在配置文件/etc/profile中添加：

export SPARK_HOME=/export/servers/spark
export PATH=$PATH:$SPARK_HOME/bin

​ 执行/etc/profile脚本，使配置生效

source /etc/profile