Spark实战----(1)使用Scala开发本地测试的Spark WordCount程序

第一步:JDk的安装

第二步:Scala的安装   不会的可以看这里   Scala环境安装

鉴于以上两步较为简单,不再详细赘述

第三步:去Spark官方网站下载Spark包 我下载的文件名是spark-1.6.2-bin-hadoop2.6



         点击DownLoad就可以下载了,下载完并解压

第四步:IDE选择

我用的是 intellij IDEA ,不过我学习的时候用的是Scala for Eclipse,用法嘛大同小异的,个人推荐IDEA

第五步:创建工程

在eclipse中点击File->New->Scala Project ,填上Project  name 然后点击finish

第六步:

更改Scala Library container的版本



第七步:导入Spark 的jar包

在项目上右键,找到Build Path -> Configure Build Path


弹出这个窗口后,点击 Add External JARs ,找到Spark 包的位置,点击lib文件,找到spark-assembly-1.6.2-hadoop2.6.0.jar


点击ok可以看到项目里面多了一个Referenced Libraries,点开发现下面就是我们刚刚添加的包

第八步:创建包和scala文件

在src下右键 点击Package,新建一个包,我命名的是cn.limbo.spark,至此项目的结构如下所示


其中WordCount是我们需要编写的文件,(上面那个别管 = =)

第九步:编写WordCount.scala,代码如下

package cn.limbo.spark

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD

/**
 * 使用Scala开发本地测试的Spark WordCount程序
 */
object WordCount {
  def main(args: Array[String]): Unit = {
    /**
     * 第一步:创建Spark的配置对象SparkConf,设置Spark程序的运行时的配置信息
     * 例如说通过setMaster来设置程序要连接的Spark集群的Master的URL
     * 如果设置为local,则代表Spark程序在本地运行,特别适合于配置条件的较差的人
     * 
     */
    
    val conf = new SparkConf()
    conf.setAppName("MyFirstSparkApplication")  //设置应用程序的名称,在程序运行的监控界面可以看到名称
    conf.setMaster("local")   //此时程序在本地运行,无需安装Spark的任何集群
    
    /**
     * 第二步:创建SparkContext对象
     * SparkContext是Spark程序所有功能的唯一入口,无论是采用Scala,Java,Python等都必须有一个SparkContext
     * SparkContext核心作用:初始化Spark应用程序运行所需要的核心组件,包括DAGScheduler,TaskScheduler,Scheduler
     * 同时还会负责Spark程序往Master注册程序等
     * SparkContext是整个Spark应用程序中最为至关重要的一个对象。
     */
    
    val sc = new SparkContext(conf)     //创建SparkContext对象,通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
    
    /**
     * 第三步:根据具体的数据来源(HDFS,HBase,Local FS(本地文件系统) ,DB,S3(云上)等)通过SparkContext来创建RDD
     * RDD的创建基本有三种方式,根据外部的数据来源(例如HDFS),根据Scala集合,由其他的RDD操作产生
     * 数据会被RDD划分成为一系列的Partitions,分配到每个Partition的数据属于一个Task的处理范畴
     */
    
     //文件的路径,最小并行度(根据机器数量来决定)
    //val lines:RDD[String]= sc.textFile("F://spark//spark-1.6.2-bin-hadoop2.6//README.md", 1)    //读取本地文件,并设置Partition = 1
    val lines= sc.textFile("F://spark//spark-1.6.2-bin-hadoop2.6//README.md", 1)    //读取本地文件,并设置Partition = 1   //类型推导得出lines为RDD
    /**
     * 第四步:对初始的RDD进行Transformation级别的处理,例如map,filter等高阶函数等的编程,来进行具体的数据计算
     *    4.1:将每一行的字符串拆分成单个的单词
     *    4.2:在单词拆分的基础上对每个单词的实例计数为1,也就是word =>(word,1)
     *    4.3:在每个单词实例计数为1基础之上统计每个单词在文件出现的总次数
     */
    
    //对每一行的字符串进行单词的拆分并把所有行的拆分结果通过flat合并成为一个大的单词集合
    val words = lines.flatMap { line => line.split(" ") }    //words同样是RDD类型  
    val pairs = words.map { word => (word,1) }
    val wordCounts = pairs.reduceByKey(_+_)       //对相同的key,进行value的累加(包括Local和Reducer级别同时Reduce)
    
    
    wordCounts.foreach(wordNumberPair => println(wordNumberPair._1 + " : " + wordNumberPair._2))
    
    sc.stop()    //注意一定要将SparkContext的对象停止,因为SparkContext运行时会创建很多的对象
    
    
    /*这个程序运行之后一定会有一个错误,因为 没有hadoop环境,这个不是程序错误,也不影响任何功能*/
    
  }
}
之后就可以看到控制台的打印结果了~

至此,Spark本地的部署就结束了
下一章介绍集群部署

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值