关于spark任务提交的几种方式

最新推荐文章于 2024-08-11 23:51:02 发布
最新推荐文章于 2024-08-11 23:51:02 发布
阅读量7.7k 收藏 12
点赞数 1
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35688140/article/details/89086557
版权

1.Spark当前支持三种集群管理方式

  • Standalone—Spark自带的一种集群管理方式，易于构建集群。
  • Apache Mesos—通用的集群管理，可以在其上运行Hadoop MapReduce和一些服务应用。
  • Hadoop YARN—Hadoop2中的资源管理器。
  • Tip1: 在集群不是特别大，并且没有mapReduce和Spark同时运行的需求的情况下，用Standalone模式效率最高。
  • Tip2: Spark可以在应用间（通过集群管理器）和应用中（如果一个SparkContext中有多项计算任务）进行资源调度。

2.Running Spark on YARN

cluster mode :

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    lib/spark-examples*.jar \
    10

client mode :

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    lib/spark-examples*.jar \
    10

spark-submit 参数详解：
在这里插入图片描述

3.区分clinet，cluster，本地模式

下图是典型的client模式：spark的drive在任务提交的本机上
在这里插入图片描述
下图是cluster模式：spark drive在yarn上
在这里插入图片描述
三种模式的比较：
在这里插入图片描述

3.调试中遇到的问题

运行如下代码：

./bin/spark-submit --class org.apache.spark.examples.SparkPi 
–master yarn 
–deploy-mode client 
–driver-memory 4g 
–executor-memory 2g 
–executor-cores 1 
lib/spark-examples*.jar 
10

打印出结果：
在这里插入图片描述

运行如下代码：

./bin/spark-submit --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    --driver-memory 4g \
    --executor-memory 2g \
    --executor-cores 1 \
    lib/spark-examples*.jar \
    10

程序中一直出现如下反馈：
在这里插入图片描述
经查询stackoverflow，发现是yarn的资源不够，于是减小内存继续：

./bin/spark-submit \
--class org.apache.spark.examples.SparkPi  \
--master yarn  \
--deploy-mode cluster  \
--driver-memory 1g   \
--executor-memory 1g  \
--executor-cores 1   \
lib/spark-examples*.jar 10

出现如下日志：

19/04/08 20:46:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/04/08 20:46:14 INFO client.RMProxy: Connecting to ResourceManager at sparkproject/192.168.48.140:8032
19/04/08 20:46:15 INFO yarn.Client: Requesting a new application from cluster with 1 NodeManagers
19/04/08 20:46:15 INFO yarn.Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
19/04/08 20:46:15 INFO yarn.Client: Will allocate AM container, with 1408 MB memory including 384 MB overhead
19/04/08 20:46:15 INFO yarn.Client: Setting up container launch context for our AM
19/04/08 20:46:15 INFO yarn.Client: Setting up the launch environment for our AM container
19/04/08 20:46:15 INFO yarn.Client: Preparing resources for our AM container
19/04/08 20:46:16 INFO yarn.Client: Uploading resource file:/usr/local/spark/lib/spark-assembly-1.5.1-hadoop2.4.0.jar -> hdfs://sparkproject:9000/user/root/.sparkStaging/application_1554721157685_0005/spark-assembly-1.5.1-hadoop2.4.0.jar
19/04/08 20:46:18 INFO yarn.Client: Uploading resource file:/usr/local/spark/lib/spark-examples-1.5.1-hadoop2.4.0.jar -> hdfs://sparkproject:9000/user/root/.sparkStaging/application_1554721157685_0005/spark-examples-1.5.1-hadoop2.4.0.jar
19/04/08 20:46:21 INFO yarn.Client: Uploading resource file:/tmp/spark-9ae21a02-046a-48ee-8125-23197cb44bd5/__spark_conf__1466562735680986305.zip -> hdfs://sparkproject:9000/user/root/.sparkStaging/application_1554721157685_0005/__spark_conf__1466562735680986305.zip
19/04/08 20:46:21 INFO spark.SecurityManager: Changing view acls to: root
19/04/08 20:46:21 INFO spark.SecurityManager: Changing modify acls to: root
19/04/08 20:46:21 INFO spark.SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(root); users with modify permissions: Set(root)
19/04/08 20:46:22 INFO yarn.Client: Submitting application 5 to ResourceManager
19/04/08 20:46:22 INFO impl.YarnClientImpl: Submitted application application_1554721157685_0005
19/04/08 20:46:23 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:23 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: root.root
         start time: 1554727582584
         final status: UNDEFINED
         tracking URL: http://sparkproject:8088/proxy/application_1554721157685_0005/
         user: root
19/04/08 20:46:24 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:25 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:26 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:28 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:29 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:30 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:31 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:32 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:34 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:35 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:36 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:37 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:38 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:39 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:40 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:41 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:42 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:43 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:44 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:45 INFO yarn.Client: Application report for application_1554721157685_0005 (state: ACCEPTED)
19/04/08 20:46:46 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:46 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 192.168.48.140
         ApplicationMaster RPC port: 0
         queue: root.root
         start time: 1554727582584
         final status: UNDEFINED
         tracking URL: http://sparkproject:8088/proxy/application_1554721157685_0005/
         user: root
19/04/08 20:46:47 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:48 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:49 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:50 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:51 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:52 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:53 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:54 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:55 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:56 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:57 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:58 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:46:59 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:00 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:01 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:02 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:03 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:04 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:05 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:06 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:07 INFO yarn.Client: Application report for application_1554721157685_0005 (state: RUNNING)
19/04/08 20:47:08 INFO yarn.Client: Application report for application_1554721157685_0005 (state: FINISHED)
19/04/08 20:47:08 INFO yarn.Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 192.168.48.140
         ApplicationMaster RPC port: 0
         queue: root.root
         start time: 1554727582584
         final status: SUCCEEDED
         tracking URL: http://sparkproject:8088/proxy/application_1554721157685_0005/A
         user: root
19/04/08 20:47:08 INFO util.ShutdownHookManager: Shutdown hook called
19/04/08 20:47:08 INFO util.ShutdownHookManager: Deleting directory /tmp/spark-9ae21a02-046a-48ee-8125-23197cb44bd5

于是产生疑问，竟然成功执行，为什么没有打印出来pi的结果呢？
进入：yarn，查看stderr日志和stdout日志：
在这里插入图片描述
stderr日志：

19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/threadDump,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors/json,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/executors,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment/json,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/environment,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd/json,null}
19/04/08 20:47:06 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/rdd,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/storage,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/pool,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/stage,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/stages,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/job,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs/json,null}
19/04/08 20:47:07 INFO handler.ContextHandler: stopped o.s.j.s.ServletContextHandler{/jobs,null}
19/04/08 20:47:07 INFO ui.SparkUI: Stopped Spark web UI at http://192.168.48.140:36495
19/04/08 20:47:07 INFO scheduler.DAGScheduler: Stopping DAGScheduler
19/04/08 20:47:07 INFO cluster.YarnClusterSchedulerBackend: Shutting down all executors
19/04/08 20:47:07 INFO cluster.YarnClusterSchedulerBackend: Asking each executor to shut down
19/04/08 20:47:07 INFO yarn.ApplicationMaster$AMEndpoint: Driver terminated or disconnected! Shutting down. sparkproject:45540
19/04/08 20:47:07 INFO yarn.ApplicationMaster$AMEndpoint: Driver terminated or disconnected! Shutting down. sparkproject:40228
19/04/08 20:47:07 INFO spark.MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
19/04/08 20:47:07 INFO storage.MemoryStore: MemoryStore cleared
19/04/08 20:47:07 INFO storage.BlockManager: BlockManager stopped
19/04/08 20:47:07 INFO storage.BlockManagerMaster: BlockManagerMaster stopped
19/04/08 20:47:07 INFO scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
19/04/08 20:47:07 INFO spark.SparkContext: Successfully stopped SparkContext
19/04/08 20:47:07 INFO remote.RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.
19/04/08 20:47:07 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.
19/04/08 20:47:07 INFO yarn.ApplicationMaster: Final app status: SUCCEEDED, exitCode: 0
19/04/08 20:47:07 INFO yarn.ApplicationMaster: Unregistering ApplicationMaster with SUCCEEDED
19/04/08 20:47:07 INFO impl.AMRMClientImpl: Waiting for application to be successfully unregistered.
19/04/08 20:47:07 INFO remote.RemoteActorRefProvider$RemotingTerminator: Remoting shut down.
19/04/08 20:47:07 INFO yarn.ApplicationMaster: Deleting staging directory .sparkStaging/application_1554721157685_0005
19/04/08 20:47:07 INFO util.ShutdownHookManager: Shutdown hook called
19/04/08 20:47:07 INFO util.ShutdownHookManager: Deleting directory /tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1554721157685_0005/spark-715fec72-7b70-40f7-b626-b237881e7ad1

stdout日志：

Pi is roughly 3.144588

结合上面的针对client模式driver运行在本地，所以会打印出结果在本地，cluster运行结果在yarn上，所以结果会输出在yarn的stdout中而不是本地的调试日志中，这就能完美解释了。

参考文献：
https://blog.csdn.net/OiteBody/article/details/53542036
《spark快速大数据分析》
https://www.iteblog.com/archives/1223.html
https://blog.csdn.net/high2011/article/details/67637338
https://stackoverflow.com/questions/30828879/application-report-for-application-state-accepted-never-ends-for-spark-submi

LUK流
关注
专栏目录
Spark集群环境搭建( Spark On YARN模式)
天涯芳草
04-08 2218
Spark On YARN模式的搭建比较简单,仅仅需要在YARN集群的”一个节点”上安装Spark即可, 该节点可作为提交Spark应用程序到YARN集群的客户端。Spark本身的Master节点和Worker节点不需要启动,Spark On Yarn集群的部署不依赖Standalone集群。 一：下载scala安装包 下载地址如下： https://www.scala-lang.org/d...
spark app提交流程之cluster模式
m0_48187193的博客
06-19 441
二、yarn–cluster模式提交app 省略相同部分的代码流程，直接进到差异的流程。 2.1在hdp003节点提交app 如下是以cluster 模式在hdp003节点提交app。 2.2 然后cluster执行的代码会走这里 2.3 反射调用YarnClusterApplication对象 它也是通过反射的方式获取了YarnClusterApplication对象。然后调用了start方法。看一下 2.3.1 YarnClusterApplication的start方法。 2.3.2创建Cli
Spark作业提交
最新发布
jpfx6008的博客
08-11 342
角色作用Master管理集群和节点，不参与计算。Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。Woker主要功能：管理当前节点内存，CPU的使用状况，
Spark学习之路 （七）Spark 运行流程
weixin_33901843的博客
04-25 222
一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext （3）Executor：某个Application运行在Worker节点上的一个进程，该进程负责运行...
spark提交任务的几种方式
laozhang0910的博客
05-25 309
https://www.cnblogs.com/itboys/p/9998666.html
spark提交任务的三种的方法
helloxiaozhe的博客
04-25 8894
spark提交任务的三种的方法 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 1、使用spark 自带的spark-submit工具提交任务 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下： ./spark-submit --class com.learn.spark.SimpleApp --master yarn --deploy-mode client --driver-
Spark08: Spark Job的三种提交模式
anglemanyi的博客
02-01 1054
这种方式主要用于测试，查看日志方便一些，部分日志会直接打印到控制台上面，因为driver进程运行在本地客户端，就是提交Spark任务的那个客户端机器，driver负责调度job，会与yarn集群产生大量的通信，一般情况下Spark客户端机器和Hadoop集群的机器是无法内网通信，只能通过外网，这样在大量通信的情况下会影响通信效率，并且当我们执行一些action操作的时候数据也会返回给driver端，driver端机器的配置一般都不高，可能会导致内存溢出等问题。基于Spark自己的standalone集群。
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2333
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
原创 | 8 张彩图讲解 Spark 任务提交流程
a934079371的博客
02-20 424
点击上方 "大数据肌肉猿"关注,星标一起成长后台回复【加群】，进入高质量学习交流群2021年大数据肌肉猿公众号奖励制度看本文之前需要先了解 Spark 的基本角色，因为本...
spark基础,关于spark的安装和几种模式的部署
09-20
3. **Yarn模式**：Spark on Yarn模式下，Spark作为一个客户端，提交任务给Yarn进行资源管理和调度。Yarn模式有两种提交模式：Yarn Cluster模式和Yarn Client模式。Cluster模式下，Driver运行在Application Master...
Spark05：【案例】单词计数：Scala代码和Java代码实现以及任务提交的几种方式
weixin_40612128的博客
03-08 2154
一、单词计数 首先看来一个快速入门案例，单词计数 这个需求就是类似于我们在学习MapReduce的时候写的案例 需求这样的：读取文件中的所有内容，计算每个单词出现的次数 这个需求就没什么好分析的了，咱们之前在学习MapReduce的已经分析过了，接下来就来看一下使用Spark需要如何实现。 注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深大家对Spark的理解，也满足java老程序员的需求，针对本课程中的案例
提交Spark应用程序的三种方式
奇迹虎虎的博客
02-19 1013
提交Spark应用程序的三种方式，standalone HA 下的 client 本地模式，standalone HA 下的 cluster 集群模式，saprk on yarn 下的 cluster 集群模式
Spark提交任务的几种方式
Yuan_CSDF的博客
04-03 314
目录 1.本地单机 2.standalone集群模式 driver在本地 3.standalone集群模式 driver在集群 4.yarn模式 driver在本地 5.yarn模式 Driver在集群 1.本地单机 /bin/spark-submit \ --master local[*] \ 2.standalone集群模式 driver在本地 /bin/spark-submit \ --master spark://mode1:7077 ...
spark提交任务流程
m0_37967990的博客
04-28 1509
spark提交代码的两种方式：Standalone、Yarn。
Spark02: Spark运行任务三种方式
anglemanyi的博客
01-02 850
spark-shell 实现了用户可以逐行输入代码，进行操作的功能。即可以不像Java一样，编写完所有代码，然后编译才能运行。spark-shell 支持。交互环境 和 python交互环境，在学习测试中可以使用spark-shell 进行API学习。spark-shell会自动创建sparkContext。注意：需要先启动spark standalone集群。比如：需要连接数据库，无法在本地调试的情况。会启动一个spark任务。
Spark提交代码的两种方式
SunnyRivers
08-26 2087
基于spark1.6测试（虽然很多公司都已经在用2.X了，但是1.6我认为是最经典的版本，CDH最新版本至今默认的spark版本依然是1.6，不过2.X提交方式是基本没有变的） Standalone （1）standalone-client提交任务方式 提交命令 ./spark-submit \ --master spark://node1:7077 \ --class org.apa...
Spark提交任务模式 详细流程
Aying_seeyou的博客
12-28 374
Spark基于Standalone-client 提交任务 提交任务命令： ./spark-submit --master spark://node1:7077 --class …jar… ./spark-submit --master spark://node1:7077 --deploy-mode client --class …jar… Spark基于Standalone-cluster ...
Spark任务提交与RDD操作详解
"Spark.md详细文档提供了Spark的任务提交流程以及如何使用RDD进行操作的实例" 在Spark中，RDD（弹性分布式数据集）是其核心的数据抽象，它代表了一组不可变、分区的数据集，能够在集群中进行并行计算。本文档主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值