eight_Jessen的博客

完整内容见：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ。

Spark常见故障和排除方法学习资料：https://mp.weixin.qq.com/s/caCk3mM5iXy0FaXCLkDwYQ。

Spark shuffle调优方法,map端和reduce端缓存大小设置，reduce端重试次数和等待时间间隔，以及bypass设置

Spark调优的方法，包括RDD使用、文件读取，partition等

Spark中的数据倾斜问题主要指shuffle过程中出现的数据倾斜问题，由不同的key对应的数据量不同导致的不同task所处理的数据量不同的问题。本节学习数据倾斜问题的避免与缓解。

学习Spark运行流程

Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle，介绍Spark的两种核心Shuffle，Hash Shuffle和Sort Shuffle

介绍Spark Streaming整体流程和DStream介绍Structured Streaming发展历史和Dataflow模型介绍。

数据分析的方式，数据分类饿SparkSQL使用场景。几种数据抽象和SparkSQL读写数据和处理数据的两种风格：SQL风格和DSL风格

Spark官网。

spark核心：包括RDD、RDD算子、RDD的持久化/缓存、累加器和广播变量。

类是对象的抽象，而对象是类的具体实例。类是抽象的，不占用内存，而对象是具体的，占用存储空间。类是用于创建对象的蓝图，它是一个定义包括在特定类型的对象中的方法和变量的软件模板。Scala中的类不声明为public，一个Scala源文件中可以有多个类。以上实例的类定义了两个变量 x 和 y ，一个方法：move，方法没有返回值。Scala 的类定义可以有参数，称为类参数，如上面的 xc, yc，类参数在整个类中都可以访问。可以使用new来实例化类，并访问类中的方法和变量。

Scala提供了一套很好的集合实现，提供了一些集合类型的抽象。Scala 集合分为可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。可以修改，添加，移除一个集合的元素。而不可变集合类，永远不会改变。不过，仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。

多维数组一个数组中的值可以是另一个数组，另一个数组的值也可以是一个数组。矩阵与表格是我们常见的二维数组。数组里面的每个元素是相同的数据类型，一般用for循环处理。range() 方法最后一个参数为步长，默认为 1。存储固定大小的同类型元素。

String 类中可以使用 printf() 方法来格式化字符串并输出，String format() 方法可以返回 String 对象而不是 PrintStream 对象。Scala中，string是不可变对象，不可修改。如果修改字符串，会产生新的字符串对象。Scala中的字符串类型实际上是Java String，它本身没有String。如果想创建一个可以修改的字符串，可以使用String Builder 类。， index从0开始。

由一个 def 关键字开始，紧接着是可选的参数列表，一个冒号 : 和方法的返回类型，一个等于号 = ，最后是方法的主体。如果方法没有返回值，可以返回Unit，类似于Java里面的voiddef functionname([参数列表]):[return type] = {以上代码中 return type 可以是任意合法的 Scala 数据类型。参数列表中的参数可以使用逗号分隔。函数里面的返回不需要写 return ，直接写要返回的数据return sum。

Scala 语言中默认是没有 break 语句，但是在 Scala 2.8 版本后可以使用另外一种方式来实现 break 语句。当在循环中使用 break 语句，在执行到该语句时，就会中断循环并执行循环体之后的代码块。

访问修饰符/运算符

scala学习：语法基础/数据类型/变量

对于 Maven 项目，可以在 pom.xml 文件中添加以下内容：</</</</

依赖配置：没有maven也可以创建。