(一)SparkContext
代表对集群的一个连接
驱动程序通过sparkContext连接spark集群
每个JVM只允许启动一个SparkContext,一个sparkContext连接代表一个application,每个application中可能有多个job(jobid)
yarn上面的一个application如下:
代码中初始化sparkContext的方式如下:
SparkConf conf = new SparkConf().setAppName(appName).setMaster("local").setJars(new String[]{"wangke-demo-1.0.jar"});
JavaSparkContext sc = new JavaSparkContext(conf);
注意:程序里的setMaster,.setJars可以不写,而是通过参数的方式指定,参数的方式和程序里面指定效果是一样的。但参数方式更加灵活,不在程序中写死,而是在提交应用时,根据spark集群部署的情况(