SPARK概述

SPARK概述

一、什么是spark

spark是一种基于内存的、快速、通用、可拓展的大数据分析计算引擎

hadoop的基础计算框架是MapReduce，但是MapReduce并不能满足流式循环迭代的场景。Spark的核心技术是RDD（Resilient Distributed Datasets 弹性分布式数据集）可以快速在内存中进行迭代。Spark的启动比MapReduce要快，Spark采用fork线程的方式，而MapReduce采用的是新建进程的方式。Spark仅在shuffer阶段写入磁盘，而MapReduce之间作业的交互都需要写入磁盘。

但是由于Spark是基于内存的，所以在大量使用的过程过程中可能会由于内存不足导致任务失败，所以需要衡量，并不能完全取代MapReduce。

二、Spark的核心模块

1、Spark Core

Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的

2、Spark SQL

Spark SQL 是 Spark 用来操作结构化数据的组件。通过 Spark SQL，用户可以使用 SQL

或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。

3、 Spark Streaming

Spark Streaming 是 Spark 平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的 API。

4、Spark MLlib

MLlib 是 Spark 提供的一个机器学习算法库。MLlib 不仅提供了模型评估、数据导入等

额外的功能，还提供了一些更底层的机器学习原语。

5、Spark GraphX

GraphX 是 Spark 面向图计算提供的框架与算法库。

三、Spark首个案例

IJ中配置scala请参考

https://blog.csdn.net/m0_51192710/article/details/136656810?spm=1001.2014.3001.5501

pom文件配置

<dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.12</artifactId>
      <version>3.0.0</version>
    </dependency>
  </dependencies>
  <build>
  <plugins>
  <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
  <plugin>
  <groupId>net.alchim31.maven</groupId>
  <artifactId>scala-maven-plugin</artifactId>
  <version>3.2.2</version>
  <executions>
  <execution>
    <!-- 声明绑定到 maven 的 compile 阶段 -->
    <goals>
      <goal>testCompile</goal>
    </goals>
  </execution>
  </executions>
  </plugin>
    <plugin>
      <groupId>org.apache.maven.plugins</groupId>
      <artifactId>maven-assembly-plugin</artifactId>
      <version>3.1.0</version>
      <configuration>
        <descriptorRefs>
          <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
      </configuration>
      <executions>
        <execution>
          <id>make-assembly</id>
          <phase>package</phase>
          <goals>
            <goal>single</goal>
          </goals>
        </execution>
      </executions>
    </plugin>
  </plugins>
  </build>
</project>

数据文件样例

my name is my name
how do you do

wordcount代码

package com.wbb.testscala
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

object Hello{
  def main(args: Array[String]): Unit = {
    // 创建 Spark 运行配置对象
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
    // 创建 Spark 上下文环境对象（连接对象）
    val sc : SparkContext = new SparkContext(sparkConf)
    // 读取文件数据
    val fileRDD: RDD[String] = sc.textFile("word.txt")
    // 将文件中的数据进行分词
    val wordRDD: RDD[String] = fileRDD.flatMap( _.split(" ") )
    // 转换数据结构 word => (word, 1)
    val word2OneRDD: RDD[(String, Int)] = wordRDD.map((_,1))
    // 将转换结构后的数据按照相同的单词进行分组聚合
    val word2CountRDD: RDD[(String, Int)] = word2OneRDD.reduceByKey(_+_)
    // 将数据聚合结果采集到内存中
    val word2Count: Array[(String, Int)] = word2CountRDD.collect()
    // 打印结果
    word2Count.foreach(println)
    //关闭 Spark 连接
    sc.stop()
  }
}

运行结果

(is,1)
(how,1)
(my,2)
(you,1)
(name,2)
(do,2)