yaoyaostep的专栏

计算模型 基本概念 l  Application：应用。可以认为是多次批量计算组合起来的过程，在物理上可以表现为你写的程序包+部署配置。应用的概念类似于计算机中的程序，它只是一个蓝本，尚没有运行起来。 l  RDD：Resilient Distributed Datasets，弹性分布式数据集。RDD即是计算模型里的一个概念，也是你编程时用到的一种类。一个RDD可以认为是spark在执行分布

spark 2.2 源码分析 Spark-submit 篇 本文主要分析spark的第一步spark-submit类。之前shell阶段主要就是环境变量的加载，而个人认为spark-submit才是spark程序的真正步。由上文可知org.apache.spark.launcher.Main 启动了 org.apache.spark.deploy.SparkSubmit。我们来看一下submi

1. 用于替换Java的等价语法 由于大部分的Java关键字在Scala中拥有了新的含义，所以一些基本的语法在Scala中稍有变化。 1.1 导入通配符 *在Scala中是合法的方法名，所以导入包时要使用_代替。 //Java import java.util.*; //Scala import java.util._ 1.2 类成员默认值 Java中类成员可以不赋初始值，编译器会