大数据Spark-----spark代码源码解析

first Codec

**public class Friend {
	public static void main(String[] args){
		System.out.println("BigData加：947967114");
	}
}**

SPARK源码解析
首先看一段使用scala编写的spark代码：
package spark0719

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object Ttspark {

val conf =new SparkConf().setAppName(“sp”).setMaster(“local”)

def main(args: Array[String]): Unit = {

val sc=new SparkContext(conf)

val number=sc.parallelize(1 to 9)

def mapDoubleFunc(num:Int):(Int,Int)={
(num,num*2)
}

val mapResult=number.map(mapDoubleFunc)

mapResult.collect//foreach(println)/savaAsTextFile(“file:///”)

		  //sc.testFile("file:///")

}
}
第一行（package spark0719）最开始是程序的包名package。

第二、三行（import org.apache.spark.SparkConf）
是使用import引入程序包。

第四行（object Ttspark ）开始是有一个object开始的，这个是伴生对象，spark或者说scala引入伴生对象的原始是需要静态的代码块，因为scala里不存在static的概念，但是scala的底层又是用java实现的，java内存在着大量的static部分程序，最具代表的就是main函数，在scala中也是使用main函数执行的，这就造成了一个矛盾，java的main是static，scala又没有static代表main不能执行，为了解决这个矛盾，scala引入了伴生对象的概念，所有的static的东西都放在object（伴