Spark实战演练：WordCount实例

最新推荐文章于 2024-07-08 15:09:49 发布

Evankaka

最新推荐文章于 2024-07-08 15:09:49 发布

阅读量6k

点赞数

分类专栏： Spark技术研究

本文链接：https://blog.csdn.net/Evankaka/article/details/52288962

版权

本文详细介绍了如何在本地环境使用Spark进行WordCount实例的运行，包括解决可能出现的内存不足问题，进行Maven的clean package打包操作，并讲解了如何将打包后的jar文件上传到Linux服务器，以及执行相关运行脚本的步骤。

摘要由CSDN通过智能技术生成

摘要：本文主要讲了如何使用Spark来运行一个wordCount实例

1、本地运行实例

package com.lin.wordcount
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

/**
 * 本地运行Spark
 * 环境：Windows7
 * scala版本：2.11.8
 * Spark版本：1.6.1
 */
object WordCountLocal {

  def main(args: Array[String]): Unit = {
    /**
     * 第一步:创建Spark的配置对象SparkConf，设置Spark程序的运行时的配置信息
     * 例如说通过setMaster来设置程序要连接的Spark集群的Master的URL
     * 如果设置为local，则代表Spark程序在本地运行，特别适合于配置条件的较差的人
     *
     */

    val conf = new SparkConf()
    conf.setAppName("wordCountLocal") //设置应用程序的名称，在程序运行的监控界面可以看到名称  
    conf.setMaster("local") //此时程序在本地运行，无需安装Spark的任何集群  

    /**
     * 第二步:创建SparkContext对象
     * SparkContext是Spark程序所有功能的唯一入口，无论是采用Scala，Java，Python等都必须有一个SparkContext
     * SparkContext核心作用：初始化Spark应用程序运行所需要的核心组件，包括DAGScheduler，TaskScheduler，Scheduler
     * 同时还会负责Spark程序往Master注册程序等
     * SparkContext是整个Spark应用程序中最为至关重要的一个对象。
     */

    val sc = new SparkContext(conf) //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息  

    /**
     * 第三步:根据具体的数据来源（HDFS，HBase，Local FS（本地文件系统） ，DB，S3（云上）等）通过SparkContext来创建RDD
     * RDD的创建基本有三种方式，根据外部的数据来源（例如HDFS），根据Scala集合，由其他的RDD操作产生
     * 数据会被RDD划分成为一系列的Partitions，分配到每个Partition的数据属于一个Task的处理范畴
     */

    //文件的路径，最小并行度（根据机器数量来决定）  
    //val lines:RDD[String]= sc.textFile("F://spark//spark-1.6.2-bin-hadoop2.6//README.md", 1)    //读取本地文件，并设置Partition = 1  
    val lines = sc.textFile("D://Java//spark//spark-1.6.1-bin-hadoop2.6//README.md", 1) //读取本地文件，并设置Partition = 1   //类型推导得出lines为RDD  
    /**
     * 第四步:对初始的RDD进行Transformation级别的处理࿰