2022.1.1 大数据学习02 Spark入门项目 快速上手

学习目标：

理解Spark框架的使用

---

创建Maven项目：

为了方便，将创建的新项目当成父项目，删除src

创建子项目

提示：这里可以添加要学的内容
例如：
1、 增加Scala插件
当jdk版本为1.8时，选用scala2.11.8
下载地址
https://www.scala-lang.org/download/2.11.8.html

2.WordCount 快速上手

2、 Scala的使用
添加依赖

<dependencies>
	 <dependency>
		 <groupId>org.apache.spark</groupId>
		 <artifactId>spark-core_2.12</artifactId>
		 <version>3.0.0</version>
	 </dependency>
</dependencies>
<build>
	 <plugins>
	 <!-- 该插件用于将 Scala 代码编译成 class 文件 -->
		 <plugin>
		 <groupId>net.alchim31.maven</groupId>
		 <artifactId>scala-maven-plugin</artifactId>
		 <version>3.2.2</version>
		 <executions>
			 <execution>
				 <!-- 声明绑定到 maven 的 compile 阶段 -->
				 <goals>
				 	<goal>testCompile</goal>
				 </goals>
			 </execution>
		 </executions>
		 </plugin>
		 <plugin>
			 <groupId>org.apache.maven.plugins</groupId>
			 <artifactId>maven-assembly-plugin</artifactId>
			 <version>3.1.0</version>
			 <configuration>
				 <descriptorRefs>
				 	<descriptorRef>jar-with-dependencies</descriptorRef>
				 </descriptorRefs>
			 </configuration>
			 <executions>
				 <execution>
					 <id>make-assembly</id>
					 <phase>package</phase>
					 <goals>
					 	<goal>single</goal>
					 </goals>
				 </execution>
			 </executions>
		 </plugin>
	 </plugins>
</build>

---

代码：

提示：这里可以添加计划学习的时间

package com.test.bigdata.spark.core.wc

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark01_WordCount {
  def main(args: Array[String]): Unit = {
    //Application
    //Spark 框架

    //TODO 建立与Spark框架的连接
    //JDBC ：Connection
    val sparConf = new SparkConf().setMaster("local").setAppName("WordCount")
    val sc = new SparkContext(sparConf)
    //TODO 执行业务操作
    //1. 读取文件，获取一行一行的数据
    // hello world=>hello,world,hello,world
    val lines:RDD[String] = sc.textFile("data")
    //2.将一行数据进行拆分，形成一个一个的单词（分词）
    //将整体拆分成个体的扁平化操作
    val words:RDD[String] = lines.flatMap(_.split(" "))
    //3.将数据根据单词进行分组，便于统计
    //(h llo,hello,hello),(world,world)
    val wordGroup:RDD[(String,Iterable[String])] = words.groupBy(word => word)
    //4.对分组后的数据进行转换
    //(hello,hello,hello),(world,world)
    // (hello,3),(world,2)
    val wordToCount = wordGroup.map {
      case (word, list) => {
        (word, list.size)
      }
    }

    //5.将转换结果采集到控制台打印出来
    val array:Array[(String,Int)] = wordToCount.collect()
    array.foreach(println)
    //TODO 关闭连接
    sc.stop();
  }
}

效果

---

学习产出：

提示：这里统计学习计划的总量
例如：
1、spark代码
2、CSDN 技术博客1 篇