1、3层架构模式
application--程序
common--部分类抽象出来的一部分,特质例如
controller--程序调度
service --服务层,逻辑
dao--持久层,数据
util--工具类,皆可使用
2、原wordCount示例代码
object WordCount {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")
val sc: SparkContext = new SparkContext(sparkConf)
val data = sc.textFile("datas/1.txt")
val flatRDD = data.flatMap(_.split(" "))
val mapRDD = flatRDD.map((_,1))
val resRDD = mapRDD.reduceByKey(_+_)
resRDD.collect().foreach(println)
}
}
3、wordCount3层架构示例