王傲旗的大数据之路

特质(trait)scala中没有Java中的接口（interface），替代的概念是——特质定义特质是scala中代码复用的基础单元它可以将方法和字段定义封装起来，然后添加到类中与类继承不一样的是，类继承要求每个类都只能继承一个超类，而一个类可以添加任意数量的特质。特质的定义和抽象类的定义很像，但它是使用trait关键字语法定义特质trait 名称 { // 抽象字...

抽象类和Java语言一样，scala中也可以定义抽象类定义如果类的某个成员在当前类中的定义是不包含完整的，它就是一个抽象类不完整定义有两种情况：方法没有方法体（抽象方法）变量没有初始化（抽象字段）定义抽象类和Java一样，在类前面加上abstract关键字// 定义抽象类abstract class 抽象类名 { // 定义抽象字段 val 抽象字段名:类型 /...

类型判断有时候，我们设计的程序，要根据变量的类型来执行对应的逻辑。在scala中，如何来进行类型判断呢？有两种方式：isInstanceOfgetClass/classOfisInstanceOf/asInstanceOf在Java中，我们可以使用instanceof关键字来判断类型、以及(类型)object来进行类型转换，在scala中如何实现呢？scala中对象提供is...

继承scala语言是支持面向对象编程的，我们也可以使用scala来实现继承，通过继承来减少重复代码。定义语法scala和Java一样，使用extends关键字来实现继承可以在子类中定义父类中没有的字段和方法，或者重写父类的方法类和单例对象都可以从某个父类继承语法class/object 子类 extends 父类 { ..}示例 | 类继承定义一个Person...

main方法scala和Java一样，如果要运行一个程序，必须有一个main方法。而在Java中main方法是静态的，而在scala中没有静态方法。在scala中，这个main方法必须放在一个单例对象中。定义main方法main方法def main(args:Array[String]):Unit = { // 方法体}示例示例说明创建一个单例对象，在该单例对象中打印"...

伴生对象在Java中，经常会有一些类，同时有实例成员又有静态成员。例如：public class CustomerService { private static String SERVICE_NAME = "CustomerService"; public void save() { // 保存客户 System.out.println(S...

单例对象scala中没有Java中的静态成员，我们想要定义类似于Java的static变量、static方法，就要使用到scala中的单例对象——object.定义单例对象单例对象表示全局仅有一个对象（类似于Java static概念）定义单例对象和定义类很像，就是把class换成object在object中定义的成员变量类似于Java的静态变量可以使用object直接引用成员变量...

类的构造器当创建类对象的时候，会自动调用类的构造器。之前使用的都是默认构造器，我们接下来要学习如何自定义构造器。主构造器我们学习过，Java的构造器，有构造列表和构造代码块class Person { // 成员变量 private String name; private Integer age; // Java构造器 public Person...

访问修饰符和Java一样，scala也可以通过访问修饰符，来控制成员变量和成员方法是否可以被访问。定义Java中的访问控制，同样适用于scala，可以在成员前面添加private/protected关键字来控制成员的可见性。但在scala中，没有public关键字，任何没有被标为private或protected的成员都是公共的案例定义一个Person类[外链图片转存失败...

类和对象scala是支持面向对象的，也有类和对象的概念。我们依然可以基于scala语言来开发面向对象的应用程序。创建类和对象用法使用class来定义一个类使用new来创建对象示例创建一个Person类，并创建它的对象步骤创建一个scala项目，并创建一个Object添加main方法创建类和对象实现在IDEA中创建项目，并创建一个Object（main方法...

过滤 | filter过滤符合一定条件的元素定义方法签名def filter(p: (A) ⇒ Boolean): TraversableOnce[A]方法解析filter方法API说明参数p: (A) ⇒ Boolean传入一个函数对象接收一个集合类型的参数返回布尔类型，满足条件返回true, 不满足返回false返回值Traversabl...

扁平化映射 | flatMap扁平化映射也是将来用得非常多的操作，也是必须要掌握的。定义可以把flatMap，理解为先map，然后再flattenmap是将列表中的元素转换为一个Listflatten再将整个列表进行扁平化方法签名def flatMap[B](f: (A) ⇒ GenTraversableOnce[B]): TraversableOnce[B]方法...

映射 | map集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表用法方法签名def map[B](f: (A) ⇒ B): TraversableOnce[B]方法解析map方法API...

函数式编程我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。遍历（foreach）映射（map）映射扁平化（flatmap）过滤（filter）是否存在（exists）排序（sorted、sortBy、sortWith）分组（groupBy）聚合计算（reduce）折叠（fold）遍历 | foreach之前，学习过...

iterator迭代器scala针对每一类集合都提供了一个迭代器（iterator）用来迭代访问集合使用迭代器遍历集合使用iterator方法可以从集合获取一个迭代器迭代器的两个基本操作hasNext——查询容器中是否有下一个元素next——返回迭代器的下一个元素，如果没有，抛出NoSuchElementException每一个迭代器都是有状态的迭代完后保留在最后一...

Map基本操作基本操作获取值(map(key))获取所有key（map.keys）获取所有value（map.values）遍历map集合getOrElse增加key,value对删除key示例定义一个映射，包含以下学生姓名和年龄数据"zhangsan", 30"lisi", 40获取zhangsan的年龄获取所有的学生姓名获取所有的学生年...

映射Map可以称之为映射。它是由键值对组成的集合。在scala中，Map也分为不可变Map和可变Map。不可变Map定义语法val/var map = Map(键->值, 键->值, 键->值...) // 推荐，可读性更好val/var map = Map((键, 值), (键, 值), (键, 值), (键, 值)...)示例定义一个映射，包含以...

# SetSet(集)是代表没有重复元素的集合。Set具备以下性质：元素不重复不保证插入顺序scala中的集也分为两种，一种是不可变集，另一种是可变集。不可变集定义语法创建一个空的不可变集，语法格式：val/var 变量名 = Set[类型]()给定元素来创建一个不可变集，语法格式：val/var 变量名 = Set(元素1, 元素2, 元素3...)示...

列表常用操作以下是列表常用的操作判断列表是否为空（isEmpty）拼接两个列表（++）获取列表的首个元素（head）和剩余部分(tail)反转列表（reverse）获取前缀（take）、获取后缀（drop）扁平化（flaten）拉链（zip）和拉开（unzip）转换字符串（toString）生成字符串（mkString）并集（union）交集（intersect）差集（...

列表列表是scala中最重要的、也是最常用的数据结构。List具备以下性质：可以保存重复的值有先后顺序在scala中，也有两种列表，一种是不可变列表、另一种是可变列表定义不可变列表就是列表的元素、长度都是不可变的。语法使用List(元素1, 元素2, 元素3, ...)来创建一个不可变列表，语法格式：val/var 变量名 = List(元素1, 元素2, 元素3....

元组元组可以用来包含一组不同类型的值。例如：姓名，年龄，性别，出生年月。元组的元素是不可变的。定义元组语法使用括号来定义元组val/var 元组 = (元素1, 元素2, 元素3....)使用箭头来定义元组（元组只有两个元素）val/var 元组 = 元素1->元素2示例定义一个元组，包含一个学生的以下数据id姓名年龄地址1zha...

数组常用算法scala中的数组封装了一些常用的计算操作，将来在对数据处理的时候，不需要我们自己再重新实现。以下为常用的几个算法：求和——sum方法求最大值——max方法求最小值——min方法排序——sorted方法求和数组中的sum方法可以将所有的元素进行累加，然后得到结果示例定义一个数组，包含以下几个元素（1,2,3,4)请计算该数组的和参考代码sc...

遍历数组可以使用以下两种方式来遍历数组：使用for表达式直接遍历数组中的元素使用索引遍历数组中的元素示例一定义一个数组，包含以下元素1,2,3,4,5使用for表达式直接遍历，并打印数组的元素参考代码scala> val a = Array(1,2,3,4,5)a: Array[Int] = Array(1, 2, 3, 4, 5)scala&...

变长数组变长数组指的是数组的长度是可变的，可以往数组中添加、删除元素定义变长数组创建变长数组，需要提前导入ArrayBuffer类import scala.collection.mutable.ArrayBuffer语法创建空的ArrayBuffer变长数组，语法结构：val/var a = ArrayBuffer[元素类型]()创建带有初始元素的ArrayBuff...

数组scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组定长数组定长数组指的是数组的长度是不允许改变的数组的元素是可以改变的语法// 通过指定长度定义数组val/var 变量名 = new Array[元素类型](数组长度)// 用元素直接初始化数组val/var 变量名 = Array(元素1...

函数scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数定义函数语法val 函数变量名 = (参数名:参数类型, 参数名:参数类型....) => 函数体[!TIP]函数是一个对象（变量）类似于方法，函数也有输入参数和返回值函数定义不需要使用def定义无需指定返回值类型示例定义一个两个数值相加的函数调用该函数参考...

方法调用方式在scala中，有以下几种方法调用方式，后缀调用法中缀调用法花括号调用法无括号调用法在后续编写spark、flink程序时，我们会使用到这些方法调用方式。后缀调用法这种方法与Java没有区别。语法对象名.方法名(参数)示例使用后缀法Math.abs求绝对值参考代码scala> Math.abs(-1)res3: Int = 1中...

方法参数scala中的方法参数，使用比较灵活。它支持以下几种类型的参数：默认参数带名参数变长参数默认参数在定义方法时可以给参数定义一个默认值。示例定义一个计算两个值相加的方法，这两个值默认为0调用该方法，不传任何参数参考代码// x，y带有默认值为0 def add(x:Int = 0, y:Int = 0) = x + yadd()带名参数在调用...

方法一个类可以有自己的方法，scala中的方法和Java方法类似。但scala与Java定义方法的语法是不一样的。定义方法语法def methodName (参数名:参数类型, 参数名:参数类型) : [return type] = { // 方法体：一系列的代码}[!NOTE]参数列表的参数类型不能省略返回值类型可以省略，由scala编译器自动推断返回值可...

break和continue在scala中，类似Java和C++的break/continue关键字被移除了如果一定要使用break/continue，就需要使用scala.util.control包的Break类的breable和break方法。实现break用法导入Breaks包import scala.util.control.Breaks._使用breakable将...

循环在scala中，可以使用for和while，但一般推荐使用for表达式，因为for表达式语法更简洁for表达式语法for(i <- 表达式/数组/集合) { // 表达式}简单循环使用for表达式打印1-10的数字步骤生成1-10的数字（提示：使用to方法）使用for表达式遍历，打印每个数字参考代码1scala> val nums ...

条件表达式条件表达式就是if表达式，if表达式可以根据给定的条件是否满足，根据条件的结果（真或假）决定执行对应的操作。scala条件表达式的语法和Java一样。有返回值的if与Java不一样的是，在scala中，条件表达式也是有返回值的在scala中，没有三元表达式，可以使用if表达式替代三元表达式示例定义一个变量sex，再定义一个result变量，如果sex等于"mal...

数据类型与操作符scala中的类型以及操作符绝大多数和Java一样，我们主要来学习与Java不一样的一些用法scala类型的继承体系数据类型基础类型类型说明Byte8位带符号整数Short16位带符号整数Int32位带符号整数Long64位带符号整数Char16位无符号Unicode字符StringChar类型的序列...

字符串scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。使用双引号使用插值表达式使用三引号使用双引号语法val/var 变量名 = “字符串”示例有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。参考代码scala> println(name + name.length)hadoop6使用插值表达式...

声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式Java变量定义int a = 0;在scala中，可以使用val或者var来定义变量，语法格式如下:val/var 变量标识:变量类型 = 初始值其中val定义的是不可重新赋值的变量var定义的是可重新赋值的变量[!NOTE]scala中定义变量类型写在变量名...

开发环境安装学习如何编写scala代码之前，需要先安装scala编译器以及开发工具Java程序编译执行流程Scala程序编译执行流程scala程序运行需要依赖于Java类库，必须要有Java运行环境，scala才能正确执行根据上述流程图，要编译运行scala程序，需要jdk（jvm）scala编译器（scala SDK）接下来，需要依次安装以下内容：安装JDK安装...

scala简介scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程早期，scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起，scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。接下来，我们要来学习：为什么要使用scala?通过两个案例对比Java语言和scala语言为什么使用...