SPARK--Windows下利用scala for eclipse搭建简易的spark开发环境

这段时间在做异构数据库，由于工作要拓展到分布式上，所以开始学习spark，也算是刚刚涉足spark大数据计算的领域。
之前写过SparkSQL的程序，但当时是直接将Scala程序放到服务器上用sbt来将原程序打成jar包，再使用spark-submit提交的，但是与后来越觉得这种方式好麻烦，没法进行代码调试，所以今天下定决心要使用eclipse去搭建一个Scala的开发环境，但只是简易搭建 不安装Spark，Hadoop。
首先要去在机器上安装好Scala和scala for eclipes，其中因为要使用到spark中的一个jar包(spark-assembly-1.6.0-hadoop2.6.0.jar),这个jar包只有spark1.6（spark-1.6.0-bin-hadoop2.6）的版本里有，而且spark1.6只是支持scala2.10.
所以要下载并安装Scala2.10，下载并安装Scala for eclipse，调试好eclipse可以运行Scala程序。
然后下载spark-1.6.0-bin-hadoop2.6（不用安装，只是用到其中spark-assembly-1.6.0-hadoop2.6.0.jar）,下载结束后将lib文件夹中的这个jar包导入到建立的spark project中。
之后再下载 hadoop的bin文件download.下载结束后建立个名叫Hadoop的文件夹，将下载好的bin文件复制其中，并且在环境变量中配置好（配置HADOOP_HOME、path）重启后生效，或者再程序里加上这一句（ System.setProperty(“hadoop.home.dir”, “C:\Research\hadoop”);）。
接下来就是建立一个Scala project、object。贴上下面的测试代码进行测试。
（代码是网上找的…）

package com.imf.spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object WordCount {
   def main(args: Array[String]): Unit = {
     System.setProperty("hadoop.home.dir", "C:\\Research\\hadoop");
     /**
      * 1.创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息，
      * 例如：通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置为local,
      * 则代表Spark程序在本地运行，特别适合于机器配置条件非常差的情况。
      */
     //创建SparkConf对象
     val conf = new SparkConf()
     //设置应用程序名称，在程序运行的监控界面可以看到名称
     conf.setAppName("My First Spark App!")
     //设置local使程序在本地运行，不需要安装Spark集群
     conf.setMaster("local")
     /**
      * 2.创建SparkContext对象
      * SparkContext是spark程序所有功能的唯一入口，无论是采用Scala,java,python,R等都必须有一个SprakContext
      * SparkContext核心作用：初始化spark应用程序运行所需要的核心组件，包括DAGScheduler,TaskScheduler,SchedulerBackend
      * 同时还会负责Spark程序往Master注册程序等；
      * SparkContext是整个应用程序中最为至关重要的一个对象；
      */
     //通过创建SparkContext对象，通过传入SparkConf实例定制Spark运行的具体参数和配置信息
     val sc = new SparkContext(conf)

     /**
      * 3.根据具体数据的来源（HDFS,HBase,Local,FS,DB,S3等）通过SparkContext来创建RDD；
      * RDD的创建基本有三种方式：根据外部的数据来源（例如HDFS）、根据Scala集合、由其他的RDD操作；
      * 数据会被RDD划分成为一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴；
      */
     //读取本地文件，并设置一个partition
     val lines = sc.textFile("C://Research//spark-1.6.0-bin-hadoop2.6//spark-1.6.0-bin-hadoop2.6//README.md",1)

     /**
      * 4.对初始的RDD进行Transformation级别的处理，例如map,filter等高阶函数的变成，来进行具体的数据计算
      * 4.1.将每一行的字符串拆分成单个单词
      */
     //对每一行的字符串进行拆分并把所有行的拆分结果通过flat合并成一个大的集合
      val words = lines.flatMap { line => line.split(" ") }
     /**
      * 4.2.在单词拆分的基础上对每个单词实例计数为1，也就是word => (word,1)
      */
     val pairs = words.map{word =>(word,1)}

     /**
      * 4.3.在每个单词实例计数为1基础上统计每个单词在文件中出现的总次数
      */
     //对相同的key进行value的累积（包括Local和Reducer级别同时Reduce）
     v
     wordCounts.foreach(pair => println(pair._1+":"+pair._2))
     sc.stop。
	)
   }  
}

如果没报错完美运行，那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错，可以在下面评论中留言，咱们再交流。运行，那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错，可以在下面评论中留言，咱们再交流。
OK,that's all