Spark入门、SparkCore、SparkSQL基础知识点概述

最新推荐文章于 2022-03-24 14:12:38 发布

语无双

最新推荐文章于 2022-03-24 14:12:38 发布

阅读量613

点赞数 1

分类专栏：知识整理基本使用文章标签： spark

本文链接：https://blog.csdn.net/weixin_49057491/article/details/111053043

版权

本文详细介绍了Spark的基础知识，包括Spark的定义、内置模块及其特点，以及Spark运行模式和安装配置。深入探讨了SparkCore中的RDD概念、转换算子、血缘关系和缓存策略。此外，还讲解了SparkSQL的原理、DataFrame、DataSet与RDD的关系，以及如何在Spark中使用SQL和DSL进行数据处理。

摘要由CSDN通过智能技术生成

Spark知识点总结

一、Spark入门基础知识

1.1、什么是Spark

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

1.2、Spark内置模块

a、Spark Core：包含任务调度、内存管理、错误恢复、与存储系统交互等模块，含了对弹性分布式数据集RDD的API

b、Spark SQL：Spark用来操作结构化数据的程序包

c、Spark Streaming：Spark提供对实时数据进行流式计算组件。提供数据流的API，与Spark Core中的 RDD API高度对应。

d、Spark MLlib：提供常见的机器学习功能的程序库

e、Spark GraphX：主要用于图形并行计算和图挖掘系统的组件

1.3、Spark特点

a、快：百倍于hadoop，基于内存

b、易用：支持多种语言（java、python、scala）

c、通用：Spark SQL、Spark Streaming、Spark MLlib、Spark GraphX可在同一应用无缝对接

d、兼容性：方便与其他开元产品融合，比如hadoop的Yarn

1.4、 Spark运行模式

部署Spark集群大体上分为两种模式：单机模式与集群模式

（1）**Local模式：**在本地部署单个Spark服务

（2）Standalone模式：Spark自带的任务调度模式。（国内常用）

（3）YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用）

（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。

1.5、Spark的安装及配置

（1）Local模式：解压后默认

（2）Standalone模式：a、standalone-client；b、standalone-cluster：

#进入Spark的配置目录/opt/module/spark-standalone/conf修改slave文件，添加work节点
[atguigu@hadoop102 conf]$ mv slaves.template slaves 
[atguigu@hadoop102 conf]$ vim slaves
hadoop102
hadoop103
hadoop104
#修改spark-env.sh文件，添加master节点
[atguigu@hadoop102 conf]$ vim spark-env.sh
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077
#修改spark-default.conf文件，配置日志存储路径（写），并分发
[atguigu@hadoop102 conf]$ vi spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir              hdfs://hadoop102:8020/directory
#修改spark-env.sh文件，配置历史服务器：
[atguigu@hadoop102 conf]$ vi spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"
[atguigu@hadoop102 conf]$ vim spark-env.sh
#若配置高可用，必须注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077
#添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"
#添加如下代码
#Zookeeper3.5的AdminServer默认端口是8080，和Spark的WebUI冲突
export SPARK_MASTER_WEBUI_PORT=8989
#分发各个节点

（3）YARN模式：

[atguigu@hadoop102 hadoop]$ vim yarn-site.xml#在Hadoop中配置yarn
<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>
[atguigu@hadoop102 conf]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml
#保存并获取文件绝对路径
#修改/opt/module/spark-yarn/conf/spark-env.sh，添加YARN_CONF_DIR配置，保证后续运行任务的路径都变成集群路径
[atguigu@hadoop102 conf]$ mv spark-env.sh.template spark-env.sh
[atguigu@hadoop102 conf]$ vim spark-env.sh
YARN_CONF_DIR=/opt/module/hadoop-3.1.3/etc/hadoop
#修改spark-default.conf文件，配置日志存储路径（写）
[atguigu@hadoop102 conf]$ vim spark-defaults.conf
spark.eventLog.enabled          true
spark.eventLog.dir               hdfs://hadoop102:8020/directory
#修改spark-env.sh文件，添加如下配置：
[atguigu@hadoop102 conf]$ vim spark-env.sh
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080 
-Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
-Dspark.history.retainedApplications=30"

1.6、Spark运行流程

a、YarnClient

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gUCXmwsv-1607690546568)(E:\个人理解笔记\杂\spark\12.bmp)]

b、YarnCluster

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7atozmXu-1607690546571)(E:\个人理解笔记\杂\spark\22.bmp)]

1.7、Spark端口号总结

1）Spark查看当前Spark-shell运行任务情况端口号：4040

2）Spark Master内部通信服务端口号：7077 （类比于Hadoop的8020（9000）端口）

3）Spark Standalone模式Master Web端口号：8080（类比于Hadoop YARN任务运行情况查看端口号：8088）

4）Spark历史服务器端口号：18080 （类比于Hadoop历史服务器端口号：19888）

1.8、Spark代码依赖支持

<dependencies>#spark-core 版本
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.12</artifactId>
        <version>3.0.0</version>
    </dependency>
</dependencies>

<build>
	<finalName>WordCount</finalName>
    <plugins>
        <plugin>
            <groupId>net.alchim31.maven</groupId>#scala支持
            <artifactId>scala-maven-plugin</artifactId>
            <version>3.4.6</version>
            <executions>
                <execution>
                   <goals>
                      <goal>compile</goal>
                      <goal>testCompile</goal>
                   </goals>
                </execution>
             </executions>
        </plugin>
        <plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-assembly-plugin</artifactId>#打包插件
    <version>3.0.0</version>
    <configuration>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
    </configuration>
    <executions>
        <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
                <goal>single</goal>
            </goals>
        </execution>
    </executions>
	</plugin>
    </plugins>
</build>

1.9、Spark解决运行中会打印日志文件

可以在项目的resources目录中创建log4j.properties文件，文件内容如下

log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{
   yy/MM/dd HH:mm:ss} %p %c{
   1}: %m%n

# Set the default spark-shell log level to ERROR. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=ERROR

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=ERROR
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
log4j.logger.org.apache.parquet=ERROR
log4j.logger.parquet=ERROR

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

1.10、Spark提交任务重点参数解析

a、–class：运行程序主类

b、–executor-cores：executor内核数，默认1，建议2-5

c、–num-executors：启动executors的数量，默认2

d、executor-memory：executor内存大小，默认1G

e、driver-cores：driver使用内核数，默认1

f、driver-memory：driver内存大小，默认512

二、SparkCore

2.1、什么是RDD及，RDD的五大特点

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集；

a、一组分区：数据集的基本组成单位，标记数据所属哪个分区；

b、一个计算：计算每个分区的函数

c、RDD之间依赖关系

d、一个partitioner，RDD的分片函数：控制分区数据流向（键值对）

e、一个列表：移动数据不如移动计算，存储partitioner优先位置

2.2、 RDD的创建

RDD的创建分为三种：

a、从集合中创建RDD：parallelize、makeRDD

//使用parallelize()创建rdd
val rdd: RDD[Int] = sc.parallelize(Array(1, 2

最低0.47元/天解锁文章

语无双

关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Spark入门、SparkCore、SparkSQL基础知识点概述

Spark知识点总结一、Spark入门基础知识1.1、什么是Spark Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。1.2、Spark内置模块 a、Spark Core：包含任务调度、内存管理、错误恢复、与存储系统交互等模块，含了对弹性分布式数据集RDD的API b、Spark SQL：Spark用来操作结构化数据的程序包 c、Spark Streaming：Spark提供对实时数据进行流式计算组件。提供数据流的API，与Spark Core中的 RDD API高
复制链接

扫一扫