Spark Core----复习

最新推荐文章于 2023-05-16 09:54:31 发布

Object o1

最新推荐文章于 2023-05-16 09:54:31 发布

阅读量195

点赞数

本文链接：https://blog.csdn.net/weixin_44400664/article/details/111498557

版权

本文详细介绍了Spark Core的架构设计，包括RDD、Partition、算子、Transformation和Action的分类、Job和Stage的划分，以及Spark的运行模式如Spark Shell、spark-submit和spark-sql。此外，还提到了开发与测试中的配置，如winutils.exe的配置和Maven的Pom配置。最后，通过Java API展示了如何实现WordCount并讨论了不同运行模式如yarn-client和yarn-cluster的区别。

摘要由CSDN通过智能技术生成

一、架构设计

架构设计图

架构设计图

相关术语名次解释

RDD(Resilient Distributed DataSet)

弹性分布式数据集,是对数据集在spark存储和计算过程的一种抽象
是一组只读、可分区的分布式数据集合
一个RDD包含多个分区Partition，分区是依照一定的规则的，将具有相同规则的数据记录在一起
横向上可切分并行计算，以分区Partition为切分后的最小存储和计算单元。
纵向上可进行内外存切换使用，即当数据在内存不足时，可以用外存磁盘来补充。
Partition（分区）
Partition类似Hadoop的Split，计算是以partition为单位进行的
partition的划分依据有很多，常见的有hash分区、范围分区等，当然也可以自定义，像HDFS文件，划分的方式就和MapReduce一样，以文件的block来划分不同的partition
一个partition交给一个Task去计算处理
算子
广义上讲，对任何函数进行某一项操作都可以认为是一个算子
通俗上讲，算子即为映射、关系、交换
Spark算子分为两大类，即为 Transformation和Action类，合计有80多个
MapReduce算子主要分为两个，即为map和reduce两个主要操作的算子，导致灵活性比较差
Transformation类算子
操作时延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到有Action操作的时候才会真正触发运算
细分类：
value数据类型的Transformation算子
key-value数据类型的Transformation
Action类算子
会触发Spark提交作业（job），并将数据输出Spark系统。
窄依赖
如果一个父RDD的每个分区只被子RDD的一个分区使用 ------> 一对一关系
宽依赖
如果一个父RDD的每个分区要被子RDD 的多个分区使用 ----> 一对多关系
Application
Spark Application的概念和MapReduce中的job或者yarn中的application类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码
一般是指整个Spark项目从开发、测试、布署、运行的全部。
Drive
运行main函数并且创建SparkContext的程序。
称为驱动程序，Driver Program类似于hadoop的wordcount程序中的driver类的main函数。
Cluster Manager
集群的资源管理器，在集群上获取资源的服务。如Yarn、Mesos、Spark Standalone等。
以Yarn为例，驱动程序会向Yarn申请计算我这个任务需要多少的内存，多少CPU等，后由Cluster Manager会通过调度告诉驱动程序可以使用，然后驱动程序将任务分配到既定的Worker Node上面执行。
WorkerNode
集群中任何一个可以运行spark应用代码的节点。
Worker Node就是物理机器节点，可以在上面启动Executor进程。
Task
与Hadoop中的Map Task或者Reduce Task是类同的。
分配到executor上的基本工作单元，执行实际的计算任务。
Task分为两类，即为ShuffleMapTask和ResultTask。
ShuffleMapTask：即为Map任务和发生Shuffle的任务的操作，由Transformation操作组成，其输出结果是为下个阶段任务(ResultTask)进行做准备，不是最终要输出的结果。
ResultTask：即为Action操作触发的Job作业的最后一个阶段任务，其输出结果即为Application最终的输出或存储结果。
Job（作业）
Spark RDD里的每个action的计算会生成一个job。
用户提交的Job会提交给DAGScheduler（Job调度器），Job会被分解成Stage去执行，每个Stage由一组相同计算规则的Task组成，该组Task也称为TaskSet，实际交由TaskScheduler去调度Task的机器执行节点，最终完成作业的执行。
Stage（阶段）
Stage是Job的组成部分，每个Job可以包含1个或者多个Stage。
Job切分成Stage是以Shuffle作为分隔依据，Shuffle前是一个Stage，Shuffle后是一个Stage。即为按RDD宽窄依赖来划分Stage。
每个Job会被拆分很多组Task，每组任务被称为Stage，也可称TaskSet，一个作业可以被分为一个或多个阶段

用户交互方式
- spark-shell:spark命令行方式来操作spark作业。
- spark-submit:通过程序脚本，提交相关的代码、依赖等来操作spark作业。
- spark-sql:通过sql的方式操作spark作业。
- spark-class:最低层的调用方式，其它调用方式多是最终转化到该方式中去提交。
spark-shell

spark-shell是一个强大的交互式数据操作与分析的工具
启动方式：以本地2个线程来模拟运行spark相关操作，该数量一般与本机的cpu核数相一致为最佳spark-shell --master local[2]
相关参数：参数列表获取的方式;spark-shell --help，参数有非常多，使用help命令可进行查看

java实现spark wordcount示例
5.1开发与测试
配置winutils.exe

意义
hadoop基于linux开发和布署运行，故不能将hadoop环境原始运行在windows上。
操作系统环境差异说明
linux环境不需要
windows下运行需要该文件
配置到运行环境当前目录下的null/bin目录下
若为eclipse开发，则配置到项目根目录下的null/bin/下即可
5.2 maven pom配置
- 配置项
  eclipse-jee版
  spark-2.3.2
  jdk1.8.x（自spark2.2.0起，jdk1.7将不再支持）
  log4j
  Pom配置模板：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>study</groupId>
  <artifactId>spark_study</artifactId>
  <version>0.1</version>
  <properties>
   <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>
  <!-- 首先配置仓库的服务器位置,首选阿里云，也可以配置镜像方式，效果雷同 -->
  <repositories>
   <repository>
     <id>nexus-aliyun</id>
     <name>Nexus aliyun</name>
     <url>http://maven.aliyun.com/nexus/content/groups/public</url>
   </repository>
  </repositories>
  <dependencies>
   <dependency><groupId>org.apache.spark</groupId>
       <artifactId>spark-core_2.11</artifactId>
       <version>2.3.2</version>
       <scope>provided</scope>
   </dependency>
    <!-- log4j依赖添加 -->
   <dependency>
     <groupId>log4j</groupId>
     <artifactId>log4j</artifactId>
     <version>1.2.17</version>
<scope>provided</scope>
   </dependency>
  </dependencies>
  <build>
   <finalName>spark_study</finalName>
   <plugins>
     <plugin>
       <artifactId>maven-compiler-plugin</artifactId>
       <version>2.3.2</version>
       <configuration>
        <source>1.7</source>
        <target>1.7</target>
        <encoding>UTF-8</encoding>
       </configuration>
     </plugin>
<plugin>
				<artifactId>maven-assembly-plugin</artifactId>
				<configuration>
					<descriptorRefs>
						<descriptorRef>jar-with-dependencies</descriptorRef>
					</descriptorRefs>
				</configuration>
				<executions>
					<execution>
						<id>make-assembly</id>
						<phase>package</phase>
						<goals>
							<goal>assembly</goal>
						</goals>
					</execution>
				</executions>
			</plugin>
   </plugins>
  </build>
</project>

5.3 java操作spark api实现wordcount代码编写

import java.util.Arrays;
import java.util.Iterator;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;
import org.apache.spark.api.java.function.PairFunction;

import scala.Tuple2;

/**
 * java版实现的spark word count
 * 
 * @author zel
 *
 * @date 2020年8月5日
 */
public class SparkWordCount4Java {
	public static void main(String[] args) {
		/**
		 * ##总步骤划分#
		 * 1、初始化spark conf，设置app name 
		 * 2、构建java spark context
		 * 3、定义输入文件，本地或是hdfs等均可
		 * 4、构建file rdd，其实质是以文本行为单位的组织形式，也可以称为lines rdd
		 * 5、lines rdd -> word rdd 
		 * 6、word rdd -> (word,1)的rdd 
		 * 7、(word,1)的rdd -> (word,freq)的rdd 
		 * 8、将(word,freq) rdd -> collect落地形成本地对象数 
		 * 9、将对象数据打印出来
		 * 10、关闭上下文环境
		 */

		// 1、初始化spark conf，设置app name
		SparkConf conf = new SparkConf();
		conf.setAppName("JavaSparkWordCount-4-job011");
//		conf.setMaster("yarn-client");

		// 2、构建java spark context
		JavaSparkContext jsc = new JavaSparkContext(conf);

		// 3、定义输入文件，本地或是hdfs等均可
		// String localFilePath = "file:D:/temp/input.txt";
		if (args == null || args.length != 1) {
			System.err.println("传参有误 ，请检查!!!");
			System.exit(-1);
		}
		String localFilePath = args[0];

		// 4、构建file rdd=line rdd
		JavaRDD<String> fileRDD = jsc.textFile(localFilePath);

		// 5、lines rdd -> word rdd
		JavaRDD<String> wordRDD = fileRDD
				.flatMap(new FlatMapFunction<String, String>() {

					@Override
					public Iterator<String> call(String line) throws Exception {
						return Arrays.asList(line.split("\\s+")).iterator();
					}

				});

		// 6、word rdd -> (word,1)的rdd
		JavaPairRDD<String, Integer> kvPairRDD = wordRDD
				.mapToPair(new PairFunction<String, String, Integer>() {

					@Override
					public Tuple2<String, Integer> call(String word)
							throws Exception {
						return new Tuple2<String, Integer>(word, 1);
					}

				});

		// 7、(word,1)的rdd -> (word,freq)的rdd
		JavaPairRDD<String, Integer> wcPairRDD = kvPairRDD
				.reduceByKey(new Function2<Integer, Integer, Integer>() {

					@Override
					public Integer call(Integer v1, Integer v2)
							throws Exception {
						return v1 + v2;
					}
				});

		// 8、将(word,freq) rdd -> collect落地形成本地对象数
		List<Tuple2<String, Integer>> pairList = wcPairRDD.collect();

		// 9、将对象数据打印出来
		for (Tuple2<String, Integer> tuple2 : pairList) {
			System.out.println(tuple2);
		}

		// 10、关闭上下文环境
		jsc.stop();

		System.out.println("done!!");

	}
}

5.4代码运行

直接run as …本地运行
linux本地运行方式-local-生产环境
开发环境打包：跟之前的maven打包完全一致
编写Shell运行脚本
Linux本地运行输入文件路径可以是Linux本地也可以是hdfs

#! /bin/sh
# 配置成hadoop配置文件存放目录
export HADOOP_CONF_DIR=/usr/hdp/2.5.3.0-37/hadoop/conf
spark-submit \
--class com.spark.demo.JavaWordCount \
--master local \
--driver-memory 512m \
--executor-memory 512m \
--num-executors 2 \
/home/spark/TestFirst/spark_test/script_demo/spark_study.jar \
file:////home/spark/TestFirst/spark_test/script_demo/input.txt

集群方式
yarn-client

#! /bin/sh
# 配置成Hadoop配置文件存放目录
export HADOOP_CONF_DIR=/usr/hdp/2.5.3.0-37/hadoop/conf
/usr/hdp/2.5.3.0-37/spark/bin/spark-submit \
--class com.spark.demo.JavaWordCount \
--master yarn-client \     #此处有变化
--driver-memory 512m \
--executor-memory 512m \
--num-executors 2 \
/home/spark/TestFirst/spark_test/script_demo/spark_study.jar \
hdfs://sc-master-v2:8020/tmp/spark/input.txt

运行效果
注意输入路径，不能再为本地路径输入，应改为hdfs等分布式文件系统的路径
yarn-client等于–master设置成yarn，deploy-mode设置成client

yarn-cluster

#! /bin/sh
# 配置成YARN配置文件存放目录
export HADOOP_CONF_DIR=/usr/hdp/2.5.3.0-37/hadoop/conf
/usr/hdp/2.5.3.0-37/spark/bin/spark-submit \
--class com.tl.job003.spark.demo.JavaWordCount \
--master yarn-cluster \      #此处有变化
--driver-memory 512m \
--executor-memory 512m \
--num-executors 2 \
/home/spark/TestFirst/spark_test/script_demo/spark_study.jar \
hdfs://sc-master-v2:8020/tmp/spark/input.txt