Spark之wordcount

package com.dt.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

/**
* 使用scala开发本地测试的spark wordcount程序
*/
object wordcount{
def main(args: Array[String]){
/**
* 第1步：创建spark的配置对象sparkconf，设置spark程序运行时的配置信息
* 例如通过setMaster来设置要连接的spark集群的Mater的URL，如果设置为local，则代表saprk在本地运行
* 特别适合于及其条件非常差的（例如只有1G的内存）的初学者
*/
val conf = new SparkConf();//创建spark对象
conf.setAppName("my first spark app!");//设置应用程序的名称，在程序运行的监控界面可以看到名称
conf.setMaster("local");//此时程序在本地运行，不需要spark集群

/**
* 第2步：创建sparkContext对象
* sparkContext是spark程序所有功能的唯一入口，无论采用scala，java，python,R等都必须有一个SparkContext
* sparkContext核心作用：初始化spark应用程序运行所需要的核心组件，包括DAGScheduler、TaskScheduler、Scheduler
* 同时还会负责spark程序往Master注册程序等
* SparkContext使整个Spark应用程序中最为至关重要的一个对象
*/
val sc = new SparkContext(conf);//创建SparkContext对象，通过传入SparkConf实例来制定Spark运行的具体参数和配置信息
/**
*第3步：根据具体的数据来源（HDFS、HBase、Local FS、DB、S3等）通过SparkContext来创建RDD
* RDD的创建基本有三种方式：根据外部数据的来源（例如HDFS），根据Scala集合、由其他的RDD操作
* 数据会被RDD划分成为一系列的Partition，分配到每个Partition的数据属于一个Task的处理范畴
*/
val lines = sc.textFile("D://Backup//桌面//README.md", 1)//读取本地文件并设置为一个Partition
/**
* 第4步：对初始的RDD进行Transformation级别的处理，例如map，filter等的高阶函数的编程，来进行具体的数据计算
* 4.1：讲每一行的字符串拆分为单词
*/
val words = lines.flatMap { line => line.split(" ") };//对每一行的字符串进行单词拆分并把所有航的拆分结果通过flat合并成为一个大的单词集合
/**
* 第4步：对初始的RDD进行Transformation级别的处理，例如map，filter等的高阶函数的编程，来进行具体的数据计算
* 4.2：在单词的拆分基础上对每个单词实例计数为1，也就是word => (word, 1)
*/
val pairs = words.map { word => (word, 1) };
/**
* 第4步：对初始的RDD进行Transformation级别的处理，例如map，filter等的高阶函数的编程，来进行具体的数据计算
* 4.3：在每个单词实例计数为1基础之上统计每个单词在文件中出现的总次数
*/
val wordCounts = pairs.reduceByKey(_+_);//对相同的key,进行value的累加
wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + ":" + wordNumberPair._2));
sc.stop();

}