Spark编程基础

parallelizeO方法有两个输人参数，说明如下:
（1）要转化的集合：必须是 Seq集合。Seq 表示序列，指的是一类具有一定长度的、可迭代访问的对象，其中每个数据元素均带有一个从0开始的、固定的索引。
（2）分区数。若不设分区数，则RDD 的分区数默认为该程序分配到的资源的 CPU核心数。
通过 parallelizeO方法用一个数组的数据创建RDD，并设置分区数为4，创建后查看该 RDD 的分区数

方法2.makeRDD()

makeRDD0方法有两种使用方式，第一种使用方式与 parallelize0方法一致；第二种方式是通过接收一个 Seq［（T,Seq［String］）］参数类型创建 RDD。第二种方式生成的RDD中保存的是T的值，Seq［String］部分的数据会按照 Seqf（T,Seq［String］）的顺序存放到各个分区中，一个 Seq［Stringl对应存放至一个分区，并为数据提供位置信息，通过preferredLocations0方法可以根据位置信息查看每一个分区的值。调用 makeRDD0时不可以直接指定 RDD 的分区个数，分区的个数与 Seq［String］参数的个数是保持一致的，使用 makeRDD0方法创建 RDD，并根据位置信息查看每一个分区的值

方法3.通过HDFS文件创建 RDD

这种方式较为简单和常用，直接通过 textFile（）方法读取 HDFS文件的位置即可。
在HDFS 的/user/toot 目录下有一个文件test.txt，读取该文件创建一个 RDD

方法4.通过 Linux 本地文件创建 RDD

本地文件的读取也是通过 sc.textFile（"路径"）的方法实现的，在路径前面加上“file://”表示从Linux 本地文件系统读取。在 IntelliJIDEA 开发环境中可以直接读取本地文件；但在 spark-shell 中，要求在所有节点的相同位置保存该文件才可以读取它，例如，在Linux的/opt 目录下创建一个文件 test.txt，任意输入4行数据并保存，将 test.txt 文件远程传输至所有节点的/opt 目录下，才可以读取文件 test.txt。读取 test.txt 文件，并且统计文件的数据行数

2,RDD方法归纳

1.使用map()方法转换数据

2.使用 sortBy（）方法进行排序

3.使用flatMap（）方法转换数据

4.使用take()方法查询某几个值

5.使用union()方法合并多个RDD

6.使用distinct()方法进行去重

3，使用简单的集合操作

(1)intersection()方法

(2)subtract()方法

(3)cartesian()方法

任务实现：

三，Spark快速上手

1，创建Maven项目

（1）增加Scala插件

（2）增加依赖关系

修改Maven项目中的POM文件，增加Spark框架的依赖关系

<dependencies>

        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->

        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-core_2.12</artifactId>

            <version>2.4.5</version>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <!-- 该插件用于将 Scala 代码编译成 class 文件 -->

            <plugin>

                <groupId>net.alchim31.maven</groupId>

                <artifactId>scala-maven-plugin</artifactId>

                <version>3.2.2</version>

                <executions>

                    <execution>

                        <!-- 声明绑定到 maven 的 compile 阶段 -->

                        <goals>

                            <goal>testCompile</goal>

                        </goals>

                    </execution>

                </executions>

            </plugin>

            <plugin>

                <groupId>org.apache.maven.plugins</groupId>

                <artifactId>maven-assembly-plugin</artifactId>

                <version>3.1.0</version>

                <configuration>

                    <descriptorRefs>

                        <descriptorRef>jar-with-dependencies</descriptorRef>

                    </descriptorRefs>

                </configuration>

                <executions>

                    <execution>

                        <id>make-assembly</id>

                        <phase>package</phase>

                        <goals>

                            <goal>single</goal>

                        </goals>

                    </execution>

                </executions>

            </plugin>

        </plugins>

    </build>

（3）WordCount

为了能直观地感受Spark框架的效果，接下来我们实现一个大数据学科中最常见的教学案例 WordCount

/**
 * spark实现单词计数
 */
 
object WordCountSpark {
 
  def main(args: Array[String]): Unit = {
 
    //创建spark运行配置对象
 
    val spark: SparkConf = new SparkConf()
 
      .setMaster("local[*]")
 
      .setAppName("WordCountSparkApps")
 
    //创建spark上下文对象
 
    val sc: SparkContext = new SparkContext(spark)
 
    //读文件数据
 
    val wordsRDD: RDD[String] = sc.textFile("data/word.txt")
 
    //讲文件中的数据进行分词
 
    val word: RDD[String] = wordsRDD.flatMap(_.split(","))
 
    //转换数据结构word ---->(word,1)
 
    val word2: RDD[(String, Int)] = word.map((_, 1))
 
    //将转换结构后的数据按照相同的单词进行分组聚合
 
    val word2CountRDD: RDD[(String, Int)] = word2.reduceByKey(_ + _)
 
    //将数据聚合结果采集到内存中
 
    val word2Count: Array[(String, Int)] = word2CountRDD.collect()
 
    //打印结果
 
    word2Count.foreach(println)
 
    //关闭spark连接
 
    sc.stop()
 
  }
 
}