这段时间在做异构数据库,由于工作要拓展到分布式上,所以开始学习spark,也算是刚刚涉足spark大数据计算的领域。
之前写过SparkSQL的程序,但当时是直接将Scala程序放到服务器上用sbt来将原程序打成jar包,再使用spark-submit提交的,但是与后来越觉得这种方式好麻烦,没法进行代码调试,所以今天下定决心要使用eclipse去搭建一个Scala的开发环境,但只是简易搭建 不安装Spark,Hadoop。
首先要去在机器上安装好Scala和scala for eclipes,其中因为要使用到spark中的一个jar包(spark-assembly-1.6.0-hadoop2.6.0.jar),这个jar包只有spark1.6(spark-1.6.0-bin-hadoop2.6)的版本里有,而且spark1.6只是支持scala2.10.
所以要下载并安装Scala2.10,下载并安装Scala for eclipse,调试好eclipse可以运行Scala程序。
然后下载spark-1.6.0-bin-hadoop2.6(不用安装,只是用到其中spark-assembly-1.6.0-hadoop2.6.0.jar),下载结束后将lib文件夹中的这个jar包导入到建立的spark project中。
之后再下载 hadoop的bin文件download.下载结束后建立个名叫Hadoop的文件夹,将下载好的bin文件复制其中,并且在环境变量中配置好(配置HADOOP_HOME、path)重启后生效,或者再程序里加上这一句( System.setProperty(“hadoop.home.dir”, “C:\Research\hadoop”);)。
接下来就是建立一个Scala project、object。贴上下面的测试代码进行测试。
(代码是网上找的…)
package com.imf.spark
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
object WordCount {
def main(args: Array[String]): Unit = {
System.setProperty("hadoop.home.dir", "C:\\Research\\hadoop");
/**
* 1.创建Spark的配置对象SparkConf,设置Spark程序的运行时的配置信息,
* 例如:通过setMaster来设置程序要链接的Spark集群的Master的URL,如果设置为local,
* 则代表Spark程序在本地运行,特别适合于机器配置条件非常差的情况。
*/
//创建SparkConf对象
val conf = new SparkConf()
//设置应用程序名称,在程序运行的监控界面可以看到名称
conf.setAppName("My First Spark App!")
//设置local使程序在本地运行,不需要安装Spark集群
conf.setMaster("local")
/**
* 2.创建SparkContext对象
* SparkContext是spark程序所有功能的唯一入口,无论是采用Scala,java,python,R等都必须有一个SprakContext
* SparkContext核心作用:初始化spark应用程序运行所需要的核心组件,包括DAGScheduler,TaskScheduler,SchedulerBackend
* 同时还会负责Spark程序往Master注册程序等;
* SparkContext是整个应用程序中最为至关重要的一个对象;
*/
//通过创建SparkContext对象,通过传入SparkConf实例定制Spark运行的具体参数和配置信息
val sc = new SparkContext(conf)
/**
* 3.根据具体数据的来源(HDFS,HBase,Local,FS,DB,S3等)通过SparkContext来创建RDD;
* RDD的创建基本有三种方式:根据外部的数据来源(例如HDFS)、根据Scala集合、由其他的RDD操作;
* 数据会被RDD划分成为一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴;
*/
//读取本地文件,并设置一个partition
val lines = sc.textFile("C://Research//spark-1.6.0-bin-hadoop2.6//spark-1.6.0-bin-hadoop2.6//README.md",1)
/**
* 4.对初始的RDD进行Transformation级别的处理,例如map,filter等高阶函数的变成,来进行具体的数据计算
* 4.1.将每一行的字符串拆分成单个单词
*/
//对每一行的字符串进行拆分并把所有行的拆分结果通过flat合并成一个大的集合
val words = lines.flatMap { line => line.split(" ") }
/**
* 4.2.在单词拆分的基础上对每个单词实例计数为1,也就是word => (word,1)
*/
val pairs = words.map{word =>(word,1)}
/**
* 4.3.在每个单词实例计数为1基础上统计每个单词在文件中出现的总次数
*/
//对相同的key进行value的累积(包括Local和Reducer级别同时Reduce)
v
wordCounts.foreach(pair => println(pair._1+":"+pair._2))
sc.stop。
)
}
}
如果没报错完美运行,那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错,可以在下面评论中留言,咱们再交流。运行,那么恭喜简易Spark开发环境你已经搭建起来了。如果还有报错,可以在下面评论中留言,咱们再交流。
OK,that's all