Spark - 概述&模式部署

最新推荐文章于 2022-06-17 09:57:14 发布
最新推荐文章于 2022-06-17 09:57:14 发布
阅读量435 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wfslife/article/details/106538306
版权

概述

Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。

Spark
　Spark是一种由Scala语言开发的快速、通用、可扩展的大数据分析引擎
　Spark Core中提供了Spark最基础与最核心的功能
　Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。
　Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。
　Spark主要功能主要是用于数据计算，所以其实Spark一直被认为是Hadoop MR框架的升级版

核心模块

在这里插入图片描述

  • Spark Core
    Spark Core中提供了Spark最基础与最核心的功能，Spark其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib都是在Spark Core的基础上进行扩展的
  • Spark SQL
    Spark SQL是Spark用来操作结构化数据的组件。通过Spark SQL，用户可以使用SQL或者Apache Hive版本的SQL方言（HQL）来查询数据。
  • Spark Streaming
    Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。
  • Spark MLlib
    MLlib是Spark提供的一个机器学习算法库。MLlib不仅提供了模型评估、数据导入等额外的功能，还提供了一些更底层的机器学习原语。
  • Spark GraphX
    GraphX是Spark面向图计算提供的框架与算法库。

IDEA中使用Spark

增加Scala插件
　　Spark由Scala语言开发的，所以Spark开发中所使用的语言就是Scala，当前的Spark版本为2.4.5，默认采用的Scala版本为2.12。开发前请保证IDEA开发工具中含有Scala开发插件。
增加依赖关系

	<dependencies>
	    <dependency>
	        <groupId>org.apache.spark</groupId>
	        <artifactId>spark-core_2.12</artifactId>
	        <version>2.4.5</version>
	    </dependency>
	</dependencies>
	<build>
	    <plugins>
	        <!-- 该插件用于将Scala代码编译成class文件 -->
	        <plugin>
	            <groupId>net.alchim31.maven</groupId>
	            <artifactId>scala-maven-plugin</artifactId>
	            <version>3.2.2</version>
	            <executions>
	                <execution>
	                    <!-- 声明绑定到maven的compile阶段 -->
	                    <goals>
	                        <goal>testCompile</goal>
	                    </goals>
	                </execution>
	            </executions>
	        </plugin>
	        <plugin>
	            <groupId>org.apache.maven.plugins</groupId>
	            <artifactId>maven-assembly-plugin</artifactId>
	            <version>3.0.0</version>
	            <configuration>
	                <descriptorRefs>
	                    <descriptorRef>jar-with-dependencies</descriptorRef>
	                </descriptorRefs>
	            </configuration>
	            <executions>
	                <execution>
	                    <id>make-assembly</id>
	                    <phase>package</phase>
	                    <goals>
	                        <goal>single</goal>
	                    </goals>
	                </execution>
	            </executions>
	        </plugin>
	    </plugins>
	</build>

WordCount案例

	// 创建Spark运行配置对象
	val sparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")
	
	// 创建Spark上下文环境对象（连接对象）
	val sc : SparkContext = new SparkContext(sparkConf)
	
	// 读取文件数据
	val fileRDD: RDD[String] = sc.textFile("input/word.txt")
	
	// 将文件中的数据进行分词
	val wordRDD: RDD[String] = fileRDD.flatMap( _.split(" ") )
	
	// 转换数据结构 word => (word, 1)
	val word2OneRDD: RDD[(String, Int)] = wordRDD.map((_,1))
	
	// 将转换结构后的数据按照相同的单词进行分组聚合
	val word2CountRDD: RDD[(String, Int)] = word2OneRDD.reduceByKey(_+_)
	
	// 将数据聚合结果采集到内存中
	val word2Count: Array[(String, Int)] = word2CountRDD.collect()
	
	// 打印结果
	word2Count.foreach(println)
	
	//关闭Spark连接
	sc.stop()

log4j.propertier

	log4j.rootCategory=ERROR, console
	log4j.appender.console=org.apache.log4j.ConsoleAppender
	log4j.appender.console.target=System.err
	log4j.appender.console.layout=org.apache.log4j.PatternLayout
	log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
	
	# Set the default spark-shell log level to ERROR. When running the spark-shell, the
	# log level for this class is used to overwrite the root logger's log level, so that
	# the user can have different defaults for the shell and regular Spark apps.
	log4j.logger.org.apache.spark.repl.Main=ERROR
	
	# Settings to quiet third party logs that are too verbose
	log4j.logger.org.spark_project.jetty=ERROR
	log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
	log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=ERROR
	log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=ERROR
	log4j.logger.org.apache.parquet=ERROR
	log4j.logger.parquet=ERROR
	
	# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
	log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
	log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

异常处理
　　如果本机操作系统是Windows，在程序中使用了Hadoop相关的东西，比如写入文件到HDFS，则会遇到如下异常：
在这里插入图片描述
　　出现这个问题的原因，并不是程序的错误，而是windows系统用到了hadoop相关的服务，解决办法是通过配置关联到windows的系统依赖就可以了
在这里插入图片描述
　　在IDEA中配置Run Configuration，添加HADOOP_HOME变量
在这里插入图片描述
在这里插入图片描述

Spark运行环境

Local模式

所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。
解压缩文件

  1. 将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格。
    链接：https://pan.baidu.com/s/1mlc2PGzZU5qOW7pPogw1mw 提取码：xuaz
    cd /opt/software
tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module
cd /opt/module 
mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-local
  2. spark2.4.5默认不支持Hadoop3，可以采用多种不同的方式关联Hadoop3
    方式一 : 修改spark-local/conf/spark-env.sh文件，增加如下内容
    此操作, 在使用spark前需要先启动hadoop
    SPARK_DIST_CLASSPATH=$(/opt/module/hadoop3/bin/hadoop classpath)
    方式二 : 除了修改配置文件外，也可以直接引入对应的Jar包
    链接：https://pan.baidu.com/s/1wuwzxB6-sP81mPAfmjU17A 提取码：b36j
    将所有jar包拷贝到 → /opt/module/spark-local/jars目录
    启动Local环境
	cd /opt/module/spark-local
	bin/spark-shell --master local[*]

在这里插入图片描述
启动后, 可以通过Web UI监控页面访问
http://虚拟机地址:4040
在这里插入图片描述
命令行工具
　　在解压缩文件夹下的data目录中，添加word.txt文件。在命令行工具中执行如下代码指令（和IDEA中代码简化版一致）

	sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

在这里插入图片描述
退出本地模式
　　Ctrl + c 或 Scala 指令 [ :quit ]
提交应用

	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master local[2] \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10
  1. –class表示要执行程序的主类
  2. –master local[2] 部署模式，默认为本地模式，数字表示分配的虚拟CPU核数量
  3. spark-examples_2.12-2.4.5.jar 运行的应用类所在的jar包
  4. 数字10表示程序的入口参数，用于设定当前应用的任务数量
    在这里插入图片描述

Standalone模式

local本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行。独立部署（Standalone）模式是一种只使用Spark自身节点运行的集群模式。Spark的Standalone模式体现了经典的master-slave模式。
　　集群规划 :
在这里插入图片描述
解压缩文件

  1. 将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩在指定位置
    链接：https://pan.baidu.com/s/1mlc2PGzZU5qOW7pPogw1mw 提取码：xuaz
    	cd /opt/software
	tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module
	cd /opt/module 
	mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-standalone
  2. spark2.4.5默认不支持Hadoop3，可以采用多种不同的方式关联Hadoop3
    方式一 : 修改spark-standalone/conf/spark-env.sh文件，增加如下内容
    此操作, 在使用spark前需要先启动hadoop
    SPARK_DIST_CLASSPATH=$(/opt/module/hadoop3/bin/hadoop classpath)
    方式二 : 除了修改配置文件外，也可以直接引入对应的Jar包
    链接：https://pan.baidu.com/s/1wuwzxB6-sP81mPAfmjU17A 提取码：b36j
    将所有jar包拷贝到 → /opt/module/spark-standalone/jars目录
    修改配置文件
  3. 进入解压缩后路径的conf目录，修改slaves.template文件名为slaves
	mv slaves.template slaves
  1. 修改slaves文件，添加work节点
	linux1
	linux2
	linux3
  1. 修改spark-env.sh.template文件名为spark-env.sh
	mv spark-env.sh.template spark-env.sh
  1. 修改spark-env.sh文件，添加JAVA_HOME环境变量和集群对应的master节点
	export JAVA_HOME=/opt/module/jdk1.8.0_144
	SPARK_MASTER_HOST=linux1
	SPARK_MASTER_PORT=7077
  1. 分发spark-standalone目录
	xsync spark-standalone

启动集群
8. 启动集群

	cd /opt/module/spark-standalone
	sbin/start-all.sh
  1. 查看三台服务器运行进程
	myjps

在这里插入图片描述

  1. 查看Master资源监控Web UI界面
	http://服务器地址:8080

在这里插入图片描述
提交应用

	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master spark://linux1:7077 \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10
  1. –class表示要执行程序的主类
  2. –master spark://linux1:7077 独立部署模式，连接到Spark集群
  3. spark-examples_2.12-2.4.5.jar 运行类所在的jar包
  4. 数字10表示程序的入口参数，用于设定当前应用的任务数量
    在这里插入图片描述
    执行任务时, 会产生多个Java进程
    在这里插入图片描述
    执行任务时, 默认采用服务器集群节点的总核数, 每个节点内存1024M。
    在这里插入图片描述
    提交参数说明
    在提交应用中，一般会同时一些提交参数
    在这里插入图片描述
    配置历史服务
    　　由于spark-shell停止掉后，集群监控linux1:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
  1. 修改spark-defaults.conf.template文件名为spark-defaults.conf
	mv spark-defaults.conf.template spark-defaults.conf
  1. 修改spark-default.conf文件，配置日志存储路径
    注意：需要启动hadoop集群，HDFS上的directory目录需要提前存在。
	hadoop fs -mkdir /directory

sbin/start-dfs.sh

	spark.eventLog.enabled          true
	spark.eventLog.dir               hdfs://linux1:9820/directory
  1. 修改spark-env.sh文件, 添加日志配置
	export SPARK_HISTORY_OPTS="
	-Dspark.history.ui.port=18080 
	-Dspark.history.fs.logDirectory=hdfs://linux1:9820/directory 
	-Dspark.history.retainedApplications=30"
  1. 参数1含义：WEBUI访问的端口号为18080
  2. 参数2含义：指定历史服务器日志存储路径
  3. 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
  1. 分发配置文件
	xsync conf
  1. 重新启动集群和历史服务
	sbin/start-all.sh
	sbin/start-history-server.sh
  1. 重新执行任务
	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master spark://linux1:7077 \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10

在这里插入图片描述
16. 查看历史服务：http://linux1:18080
在这里插入图片描述
配置高可用(HA)
　　所谓的高可用是因为当前集群中的Master节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个Master节点，一旦处于活动状态的Master发生故障时，由备用Master提供服务，保证作业可以继续执行。这里的高可用一般采用Zookeeper设置。
　　集群规划 :
在这里插入图片描述
17. 停止集群

	sbin/stop-all.sh
  1. 启动Zookeeper
	xstart zk
  1. 修改spark-env.sh文件添加如下配置
    注释如下内容：
	#SPARK_MASTER_HOST=linux1
	#SPARK_MASTER_PORT=7077
	SPARK_MASTER_WEBUI_PORT=8989

添加如下内容:

	export SPARK_DAEMON_JAVA_OPTS="
	-Dspark.deploy.recoveryMode=ZOOKEEPER 
	-Dspark.deploy.zookeeper.url=linux1,linux2,linux3 
	-Dspark.deploy.zookeeper.dir=/spark"
  1. 分发配置文件
	xsync conf/
  1. 启动集群
	sbin/start-all.sh

在这里插入图片描述
22. 启动linux2的单独Master节点，此时linux2节点Master状态处于备用状态

	[root@linux2 spark-standalone]# sbin/start-master.sh

在这里插入图片描述

  1. 提交应用到高可用集群
	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master spark://LIFE:7077,LIVE:7077 \
	--deploy-mode cluster \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10
  1. 停止linux1的Master资源监控进程
    在这里插入图片描述
  2. 查看linux2的Master 资源监控Web UI，稍等一段时间后，linux2节点的Master状态提升为活动状态
    在这里插入图片描述

Yarn模式

独立部署（Standalone）模式由Spark自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是Spark主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架(Yarn)集成会更靠谱一些。
解压缩文件

  1. 将spark-2.4.5-bin-without-hadoop-scala-2.12.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格。
    链接：https://pan.baidu.com/s/1mlc2PGzZU5qOW7pPogw1mw 提取码：xuaz
    cd /opt/software
tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C /opt/module
cd /opt/module 
mv spark-2.4.5-bin-without-hadoop-scala-2.12 spark-yarn
  2. spark2.4.5默认不支持Hadoop3，可以采用多种不同的方式关联Hadoop3
    方式一 : 修改spark-local/conf/spark-env.sh文件，增加如下内容
    此操作, 在使用spark前需要先启动hadoop
    SPARK_DIST_CLASSPATH=$(/opt/module/hadoop3/bin/hadoop classpath)
    方式二 : 除了修改配置文件外，也可以直接引入对应的Jar包
    链接：https://pan.baidu.com/s/1wuwzxB6-sP81mPAfmjU17A 提取码：b36j
    将所有jar包拷贝到 → /opt/module/spark-yarn/jars目录
    修改配置文件
  3. 修改hadoop配置文件/opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发
	<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
	<property>
	     <name>yarn.nodemanager.pmem-check-enabled</name>
	     <value>false</value>
	</property>
	
	<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
	<property>
	     <name>yarn.nodemanager.vmem-check-enabled</name>
	     <value>false</value>
	</property>

分发配置文件
  1. 修改conf/spark-env.sh，添加JAVA_HOME和YARN_CONF_DIR配置
	mv spark-env.sh.template spark-env.sh

	export JAVA_HOME=/opt/module/jdk1.8.0_144
	YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

启动HDFS及Yarn集群
提交应用

	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master yarn \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10

在这里插入图片描述
查看http://linux2:8088页面，点击History，查看历史页面
在这里插入图片描述
在这里插入图片描述
配置历史服务器

  1. 修改spark-defaults.conf.template文件名为spark-defaults.conf
	mv spark-defaults.conf.template spark-defaults.conf
  1. 修改spark-default.conf文件，配置日志存储路径
    注意：需要启动hadoop集群，HDFS上的目录需要提前存在。
	[root@linux1 hadoop]# sbin/start-dfs.sh
	[root@linux1 hadoop]# hadoop fs -mkdir /directory

	spark.eventLog.enabled          true
	spark.eventLog.dir               hdfs://linux1:8020/directory
  1. 修改spark-env.sh文件, 添加日志配置
	export SPARK_HISTORY_OPTS="
	-Dspark.history.ui.port=18080 
	-Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory 
	-Dspark.history.retainedApplications=30"
  1. 参数1含义：WEB UI访问的端口号为18080
  2. 参数2含义：指定历史服务器日志存储路径
  3. 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
  1. 修改spark-defaults.conf
	spark.yarn.historyServer.address=linux1:18080
	spark.history.ui.port=18080
  1. 启动历史服务
	sbin/start-history-server.sh
  1. 重新提交应用
	bin/spark-submit \
	--class org.apache.spark.examples.SparkPi \
	--master yarn \
	./examples/jars/spark-examples_2.12-2.4.5.jar \
	10

在这里插入图片描述

  1. Web页面查看日志：http://linux2:8088
    在这里插入图片描述
    在这里插入图片描述

K8S & Mesos模式

Mesos是Apache下的开源分布式资源管理框架，它被称为是分布式系统的内核,在Twitter得到广泛使用,管理着Twitter超过30,0000台服务器上的应用部署，但是在国内，依然使用着传统的Hadoop大数据框架，所以国内使用Mesos框架的并不多，但是原理其实都差不多。
　　在这里插入图片描述
　　容器化部署是目前业界很流行的一项技术，基于Docker镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是Kubernetes（k8s），而Spark也在最近的版本中支持了k8s部署模式。此处不提供详解。想继续了解的小伙伴点击传送门 ：https://spark.apache.org/docs/latest/running-on-kubernetes.html
在这里插入图片描述

Windows模式

在学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，Spark提供了可以在windows系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习Spark的基本使用。
解压缩文件
　　将文件spark-2.4.5-bin-without-hadoop-scala-2.12.tgz解压缩到无中文无空格的路径中，将hadoop3依赖jar包拷贝到jars目录中。
启动本地环境

  1. 执行解压缩文件路径下bin目录中的spark-shell.cmd文件，启动Spark本地环境
    在这里插入图片描述
  2. 在bin目录中创建input目录，并添加word.txt文件, 在命令行中输入脚本代码
	sc.textFile("input/word.txt").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).collect

在这里插入图片描述
命令行提交应用

	spark-submit --class org.apache.spark.examples.SparkPi --master local[2] ../examples/jars/spark-examples_2.12-2.4.5.jar 10

在这里插入图片描述

小结

部署模式对比
在这里插入图片描述
端口号

  • Spark查看当前Spark-shell运行任务情况端口号：4040（计算）
  • Spark Master内部通信服务端口号：7077
  • Standalone模式下，Spark Master Web端口号：8080（资源）
  • Spark历史服务器端口号：18080
  • Hadoop YARN任务运行情况查看端口号：8088
kinifine
关注
【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解
wang2leee的博客
11-27 1222
spark-shell 任务提交任务参数选项说明示例源码详解
Spark3.2.0 Standalone集群模式部署教程
changzhen5616的博客
12-04 2573
Spark3.2.0 在Centos7环境下 Standalone集群模式安装部署教程
Spark入门_部署_spark_mllib_streaming_hive_
10-02
SPARK入门教程，主要介绍spark生态圈、平台部署，hive，实时流计算，机器学习库等
Spark学习——利用Mleap部署spark pipeline模型
lei729533667的博客
03-18 613
Spark学习——利用Mleap部署spark pipeline模型1.需要的依赖2.代码2.1 数据预处理、模型训练、存储2.2 预测（单条测试、批量测试） 1.需要的依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-mllib_2.11</artifactId> &lt
Spark on Yarn作业运行架构原理解析
weixin_34038293的博客
10-07 455
[TOC] 0 前言 可以先参考之前写的《Yarn流程、Yarn与MapReduce 1相比》，之后再参考《Spark作业运行架构原理解析》，然后再阅读下面的内容，就很容易理解了。 下面内容参考：https://blog.csdn.net/gamer_gyt/article/details/51833681 1 Client模式 说明如下： Spark Yarn Client向YARN的Re...
机器学习训练好的模型的使用_使用PMML部署机器学习模型
weixin_39851457的博客
11-22 446
目录PMML简介PMML标准介绍PMML优点PMML开源类库PMML演示PMML缺点总结参考PMML简介预测模型标记语言PMML（Predictive Model Markup Language）是一套与平台和环境无关的模型表示语言，是目前表示机器学习模型的实际标准。从2001年发布的PMML1.1，到2019年最新4.4，PMML标准已经由最初的6个模型扩展到了17个模型，并且提供了挖掘模型（M...
简单介绍Spark On YARN架构
lookqinghuaci的博客
06-16 413
搭建Spark On YARN 集群
spark-assembly-1.5.2-hadoop2.6.0.jar
12-21
1. Spark概述： Spark是一个开源的并行计算框架，由Apache基金会维护，旨在提供快速、通用且可扩展的数据处理能力。它支持批处理、交互式查询（通过Spark SQL）、实时流处理（通过Spark Streaming）以及机器学习...
高级软件人才培训专家-Hadoop课程资料-3-第三章 - MapReduce & YARN入门
最新发布
03-10
- **掌握分布式计算原理**：深入理解分布式计算的必要性和其实现方式，比如分散-汇总模式、中心调度-步骤执行模式等。 - **熟悉MapReduce与YARN**：掌握MapReduce的工作流程以及YARN的架构设计，了解它们在Hadoop...
Spark学习笔记[3]-Spark安装部署
unlock的博客
03-11 3471
Spark学习笔记[3]-Spark安装部署 1、下载对应版本的spark   官网我始终都下不下来，推荐一个国内的镜像： https://mirrors.tuna.tsinghua.edu.cn/apache/spark 2、概述 2-1 安装模式   虽然Spark是一个分布式计算框架，但是其不属于Hadoop Project，它有自己的资源层管理和文件系统，可以不依赖Hadoop的HDFS和Yarn，所以安装部署的时候可以只安装spark，对应的就是standalone集群， 但是一般都会使用HDF
spark on yarn 完全分布式_「大数据」（七十一）Spark之架构介绍
weixin_39716160的博客
11-26 243
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[71]篇文章，欢迎阅读和收藏】1 基本概念Spark 架构采用了分布式计算中的 Master-Slave 模型。 Master 是对应集群中的含有 Master 进程的节点， Slave 是集群中含有 Worker 进程的节点。 Master 作为整个集群的控制器，负责整个集群的正常运行； Worker 相当于计算节点，...
搭建sparkmllib开发环境的一些坑-----
dongdouzin的博客
04-02 5550
sparkmlib是spark用于机器学习开发的包，实现了在分布式的大数据集群上做机器学习的功能，是目前对分布式支持较好的机器学习框架，除此之外支持分布式的机器学习框架还有tensorflow和deeplearning4j,但sparkmllib天生和hadoop无缝结合，不过sparkmllib的短板是无法支持深度学习，而tensorflow和deeplearning是支持深度学习的。好了废话不...
Spark on YARN
热门推荐
liweihope的博客
06-14 2万+
前言 Spark 可以跑在很多集群上，比如跑在local上，跑在Standalone上，跑在Apache Mesos上，跑在Hadoop YARN上等等。不管你Spark跑在什么上面，它的代码都是一样的，区别只是–master的时候不一样。其中Spark on YARN是工作中或生产上用的非常多的一种运行模式。 YARN产生背景 以前没有YARN的时候，每个分布式框架都要跑在一个集群上面，比如说H...
spark on yarn架构简介
hanlaipeng的博客
08-08 2509
spark自从问世以来就收到了广泛的关注，其热度一直居高不下。spark的出现，为实时数据的处理带来了极大的方便，相比Hadoop，spark在某些情况下处理数据的速度要快于Hadoop，其主要原因有以下两点： 1. spark中间的数据不落地，这是最主要的原因，中间的数据存放在内存中，这就极大的减少了磁盘的读取以及IO的操作，所以，这也是spark适合迭代式工作的原因。 2. spark中D
Yarn组件、SparkOnYarn
小萌猿的博客
04-14 2507
Yarn是主从架构 Yarn的四大组件：ResourceManager、ApplicationMaster、NodeManager、Container ResourceManager：运行在Master上的一个进程，负责集群的资源调度 NodeManager：运行在Slaver上的一个进程，负责向Master上报子节点的运行、资源状况。 ApplicationMaster：运行在Slave...
Spark on Yarn 架构是怎么样的（画图）
weixin_59295776的博客
12-21 1726
1、客户端提交一个Application，在客户端启动一个Driver进程。 2、Driver进程会向RS(ResourceManager)发送请求，启动AM(ApplicationMaster)的资源。 3、RS收到请求，随机选择一台NM(NodeManager)启动AM。这里的NM相当于Standalone中的Worker节点。 4、AM启动后，会向RS请求一批container资源，用于启动Executor.RS会找到一批NM返回给AM,用于启动Executor。 5、AM会向NM发送命令启动E...
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1172
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
Spark(二) ：基本架构解析
qq_35909080的博客
08-13 652
1，spark基础及体系架构 1.1 spark why?   Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： Spark提供了一个全面、统一的框架用于管理各种有着不同性...
spark环境搭建java_Spark MLlib 环境搭建超详细教程
weixin_31181381的博客
02-16 624
1、系统及环境版本系统：Win7 旗舰版 64位 sp1JDK：1.8.0Spark：2.3.2Hadoop：2.7Scala：2.11.8文章最后，有所有版本的下载链接，不用再去折腾版本之间的问题。2、环境下载2.1 Spark 下载spark2.2 hadooponwindos 下载image.png2.3 Hadoop 下载image.png2.4 JDK下载略2.5 IntelliJ ID...
【spark】spark概述 及 集群部署
03-16
Spark是一种快速、通用、可扩展的大数据处理引擎，它支持在内存中进行数据处理，可以比Hadoop MapReduce更快地处理大规模数据。Spark提供了一种简单的编程模型，支持Java、Scala、Python和R等多种编程语言。 Spark的核心是RDD（Resilient Distributed Datasets），它是一种可分区、可并行计算的数据结构，可以在集群中进行分布式计算。Spark还提供了许多高级API，如Spark SQL、Spark Streaming、MLlib和GraphX等，可以处理不同类型的数据和任务。 在部署Spark集群时，需要安装Spark和Hadoop，并配置好环境变量和网络设置。可以使用Standalone模式、YARN模式或Mesos模式来管理Spark集群。在Standalone模式下，Spark自己管理集群资源；在YARN模式下，Spark作为YARN的一个应用程序运行；在Mesos模式下，Spark作为Mesos的一个框架运行。在部署时，还需要考虑集群规模、硬件配置和数据存储等因素。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值