val conf = new SparkConf().setAppName(appName).setMaster(master)
val sc = new SparkContext(conf)
val lines = sc.textFile("../README.md",2)
一般一个RDD开始这样写,配置conf参数,然后用conf作为入参初始化SparkContext。
SparkConf
val conf = new SparkConf().setAppName(appName).setMaster(master)
val sc = new SparkContext(conf)
val lines = sc.textFile("../README.md",2)
一般一个RDD开始这样写,配置conf参数,然后用conf作为入参初始化SparkContext。