Spark --- 启动、运行、关闭过程

最新推荐文章于 2024-05-23 11:02:20 发布
最新推荐文章于 2024-05-23 11:02:20 发布
阅读量2.9k 收藏
点赞数
分类专栏： # Spark 文章标签： spark spark启动 spark运行 spark关闭

计算PI值

 

  1. // scalastyle:off println

  2. package org.apache.spark.examples

  3.  

  4. import scala.math.random

  5.  

  6. import org.apache.spark._

  7.  

  8. /** Computes an approximation to pi */

  9. object SparkPi {

  10. def main(args: Array[String]) {

  11. val conf = new SparkConf().setAppName("Spark Pi")

  12. val spark = new SparkContext(conf)

  13. val slices = if (args.length > 0) args(0).toInt else 2

  14. val n = math.min(100000L * slices, Int.MaxValue).toInt // avoid overflow

  15. val count = spark.parallelize(1 until n, slices).map { i =>

  16. val x = random * 2 - 1

  17. val y = random * 2 - 1

  18. if (x*x + y*y < 1) 1 else 0

  19. }.reduce(_ + _)

  20. println("Pi is roughly " + 4.0 * count / n)

  21. spark.stop()

  22. }

  23. }

流程分析

 

  1. [abc@search-engine---dev4 spark]$ ./bin/run-example SparkPi

  2. Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

  3. 16/06/07 03:43:20 INFO SparkContext: Running Spark version 1.6.1

  4. 16/06/07 03:43:20 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

  5. #进行acls用户权限认证

  6. 16/06/07 03:43:20 INFO SecurityManager: Changing view acls to: abc

  7. 16/06/07 03:43:20 INFO SecurityManager: Changing modify acls to: abc

  8. 16/06/07 03:43:20 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(abc); users with modify permissions: Set(abc)

  9. 16/06/07 03:43:21 INFO Utils: Successfully started service 'sparkDriver' on port 40568.

  10. 16/06/07 03:43:23 INFO Slf4jLogger: Slf4jLogger started

  11. #启动远程监听服务，端口是36739，Spark的通信工作由akka来实现

  12. 16/06/07 03:43:23 INFO Remoting: Starting remoting

  13. 16/06/07 03:43:23 INFO Remoting: Remoting started; listening on addresses :[akka.tcp://sparkDriverActorSystem@127.0.0.1:36739]

  14. 16/06/07 03:43:23 INFO Utils: Successfully started service 'sparkDriverActorSystem' on port 36739.

  15. #注册MapOutputTracker，BlockManagerMaster，BlockManager

  16. 16/06/07 03:43:23 INFO SparkEnv: Registering MapOutputTracker

  17. 16/06/07 03:43:23 INFO SparkEnv: Registering BlockManagerMaster

  18. #分配存储空间，包括磁盘空间和内存空间

  19. 16/06/07 03:43:23 INFO DiskBlockManager: Created local directory at /tmp/blockmgr-8a68c39e-40e5-43ca-b21e-081ef8d278e2

  20. 16/06/07 03:43:23 INFO MemoryStore: MemoryStore started with capacity 511.1 MB

  21. 16/06/07 03:43:23 INFO SparkEnv: Registering OutputCommitCoordinator

  22. 16/06/07 03:43:24 INFO Utils: Successfully started service 'SparkUI' on port 4040.

  23. 16/06/07 03:43:24 INFO SparkUI: Started SparkUI at http://127.0.0.1:4040

  24. 16/06/07 03:43:24 INFO HttpFileServer: HTTP File server directory is /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/httpd-796af3e2-122c-4780-9273-f4aa7d32bb04

  25. #启动HTTP服务，可以通过界面查看服务和任务运行情况

  26. 16/06/07 03:43:24 INFO HttpServer: Starting HTTP Server

  27. 16/06/07 03:43:24 INFO Utils: Successfully started service 'HTTP file server' on port 54315.

  28. #启动SparkContext，并上传本地运行的jar包到http://127.0.0.1:54315

  29. 16/06/07 03:43:24 INFO SparkContext: Added JAR file:/usr/local/spark/lib/spark-examples-1.6.1-hadoop2.6.0.jar at http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar with timestamp 1465285404966

  30. 16/06/07 03:43:25 INFO Executor: Starting executor ID driver on host localhost

  31. 16/06/07 03:43:25 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 59217.

  32. 16/06/07 03:43:25 INFO NettyBlockTransferService: Server created on 59217

  33. 16/06/07 03:43:25 INFO BlockManagerMaster: Trying to register BlockManager

  34. 16/06/07 03:43:25 INFO BlockManagerMasterEndpoint: Registering block manager localhost:59217 with 511.1 MB RAM, BlockManagerId(driver, localhost, 59217)

  35. 16/06/07 03:43:25 INFO BlockManagerMaster: Registered BlockManager

  36. #Spark提交了一个job给DAGScheduler

  37. 16/06/07 03:43:26 INFO SparkContext: Starting job: reduce at SparkPi.scala:36

  38. #DAGScheduler收到一个编号为0的含有2个partitions分区的job

  39. 16/06/07 03:43:26 INFO DAGScheduler: Got job 0 (reduce at SparkPi.scala:36) with 2 output partitions

  40. #将job转换为编号为0的stage

  41. 16/06/07 03:43:26 INFO DAGScheduler: Final stage: ResultStage 0 (reduce at SparkPi.scala:36)

  42. #DAGScheduler在submitting stage之前，首先寻找本次stage的parents，如果missing parents为空，则submitting stage；

  43. #如果有，会对parents stage进行递归submit stage，随之又将stage 0分成了2个task，提交给TaskScheduler的submitTasks方法。

  44. #对于某些简单的job，如果它没有依赖关系，并且只有一个partition，这样的job会使用local thread处理而并不会提交到TaskScheduler上处理。

  45. 16/06/07 03:43:26 INFO DAGScheduler: Parents of final stage: List()

  46. 16/06/07 03:43:26 INFO DAGScheduler: Missing parents: List()

  47. 16/06/07 03:43:26 INFO DAGScheduler: Submitting ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:32), which has no missing parents

  48. 16/06/07 03:43:26 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 1904.0 B, free 1904.0 B)

  49. 16/06/07 03:43:26 INFO MemoryStore: Block broadcast_0_piece0 stored as bytes in memory (estimated size 1218.0 B, free 3.0 KB)

  50. 16/06/07 03:43:26 INFO BlockManagerInfo: Added broadcast_0_piece0 in memory on localhost:59217 (size: 1218.0 B, free: 511.1 MB)

  51. 16/06/07 03:43:26 INFO SparkContext: Created broadcast 0 from broadcast at DAGScheduler.scala:1006

  52. 16/06/07 03:43:26 INFO DAGScheduler: Submitting 2 missing tasks from ResultStage 0 (MapPartitionsRDD[1] at map at SparkPi.scala:32)

  53. #TaskSchedulerImpl是TaskScheduler的实现类，接收了DAGScheduler提交的2个task

  54. 16/06/07 03:43:26 INFO TaskSchedulerImpl: Adding task set 0.0 with 2 tasks

  55. 16/06/07 03:43:26 INFO TaskSetManager: Starting task 0.0 in stage 0.0 (TID 0, localhost, partition 0,PROCESS_LOCAL, 2152 bytes)

  56. 16/06/07 03:43:26 INFO TaskSetManager: Starting task 1.0 in stage 0.0 (TID 1, localhost, partition 1,PROCESS_LOCAL, 2152 bytes)

  57. #Executor接收任务后则从远程的服务器中将运行jar包存放到本地，然后进行计算，并各自汇报了任务执行状态

  58. 16/06/07 03:43:26 INFO Executor: Running task 1.0 in stage 0.0 (TID 1)

  59. 16/06/07 03:43:26 INFO Executor: Running task 0.0 in stage 0.0 (TID 0)

  60. 16/06/07 03:43:26 INFO Executor: Fetching http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar with timestamp 1465285404966

  61. 16/06/07 03:43:27 INFO Utils: Fetching http://127.0.0.1:54315/jars/spark-examples-1.6.1-hadoop2.6.0.jar to /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/userFiles-b021b090-3024-421c-b4b0-73fc9f723f44/fetchFileTemp4760324069006875921.tmp

  62. 16/06/07 03:43:28 INFO Executor: Adding file:/tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/userFiles-b021b090-3024-421c-b4b0-73fc9f723f44/spark-examples-1.6.1-hadoop2.6.0.jar to class loader

  63. 16/06/07 03:43:29 INFO Executor: Finished task 1.0 in stage 0.0 (TID 1). 1031 bytes result sent to driver

  64. 16/06/07 03:43:29 INFO Executor: Finished task 0.0 in stage 0.0 (TID 0). 1031 bytes result sent to driver

  65. #TaskSetManager、SparkContent各自收到任务完成报告

  66. 16/06/07 03:43:29 INFO TaskSetManager: Finished task 1.0 in stage 0.0 (TID 1) in 2131 ms on localhost (1/2)

  67. 16/06/07 03:43:29 INFO TaskSetManager: Finished task 0.0 in stage 0.0 (TID 0) in 2189 ms on localhost (2/2)

  68. 16/06/07 03:43:29 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool

  69. 16/06/07 03:43:29 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:36) finished in 2.217 s

  70. 16/06/07 03:43:29 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:36, took 2.877995 s

  71. #打印程序执行结果

  72. Pi is roughly 3.14282

  73. #Spark服务关闭

  74. 16/06/07 03:43:29 INFO SparkUI: Stopped Spark web UI at http://127.0.0.1:4040

  75. 16/06/07 03:43:29 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!

  76. 16/06/07 03:43:29 INFO MemoryStore: MemoryStore cleared

  77. 16/06/07 03:43:29 INFO BlockManager: BlockManager stopped

  78. 16/06/07 03:43:29 INFO BlockManagerMaster: BlockManagerMaster stopped

  79. 16/06/07 03:43:29 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!

  80. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Shutting down remote daemon.

  81. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Remote daemon shut down; proceeding with flushing remote transports.

  82. 16/06/07 03:43:29 INFO SparkContext: Successfully stopped SparkContext

  83. 16/06/07 03:43:29 INFO RemoteActorRefProvider$RemotingTerminator: Remoting shut down.

  84. 16/06/07 03:43:29 INFO ShutdownHookManager: Shutdown hook called

  85. 16/06/07 03:43:29 INFO ShutdownHookManager: Deleting directory /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7/httpd-796af3e2-122c-4780-9273-f4aa7d32bb04

  86. 16/06/07 03:43:29 INFO ShutdownHookManager: Deleting directory /tmp/spark-3ef0b16c-fe81-482e-8446-30571da062e7

  87.  

--------------------- 本文来自 javastart 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/javastart/article/details/71214815?utm_source=copy

专注_每天进步一点点
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark 终止 运行_Spark --- 启动、运行、关闭过程
weixin_39737051的博客
12-19 1056
1 [abc@search-engine---dev4 spark]$ ./bin/run-example SparkPi2 Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties3 16/06/07 03:43:20 INFO SparkContext: Running Spark versi...
spark学习-spark安装和启动
热门推荐
搬砖笔记
06-23 3万+
安装前准备 spark下载 由于我们的hadoop的版本是2.7.6.所以在选中spark版本的时候,要注意. 要选中pre-built for apache hadoop2.7 and later的版本 #下载spark [root@spark-master local]# wget http://mirror.bit.edu.cn/apache/spark/spark-2....
启动spark
一一的博客
12-18 1335
cd /usr/local/spark/ ./bin/spark-shell
Spark基础笔记之启动命令顺序
最新发布
ichterry的专栏
05-23 328
Spark基础操作笔记之启动命令，日常记录
Spark的配置和启动
Deng872347348的博客
03-24 2539
Spark的配置和启动 文章目录Spark的配置和启动准备工作：下面我们配置环境变量：出现如下进程成功启动集群： 准备工作： 安装Spark集群前，需要安装Hadoop环境，我们采用如下配置环境。 •Linux系统：CentOS_7的任意版本 ，因为6.几的版本现在停止维护了 •Hadoop：2.7.4版本 •JDK：1.8版本 •Spark：2.3.2版本 第一步，官网下载spark: 还要有三天虚拟机：VMware Workstation CentOS7.x 192,168.245.221 node (
spark的开启与关闭
m0_53045260的博客
06-06 265
spark的开启和hadoop很像。先进入spark下的sbin目录。
spark-2.4.5.tgz
07-12
4. 运行示例：通过 `bin/spark-shell` 启动 Spark Shell，或运行提供的示例应用程序。 5. 关闭 Spark：完成使用后，执行 `sbin/stop-all.sh` 关闭 Spark 集群。 在实际应用中，开发者还需要了解如何配置 Spark ...
hadoop-spark配置文档1
08-08
总结，配置 Hadoop 和 Spark 需要细致地设置各个组件的参数，确保 SSH 无密码登录、Hadoop 集群运行正常，以及 Spark 能够正确地与 Hadoop 集群交互。在实际部署中，还需要考虑网络、安全性、监控等因素，以保证整个...
PySpark-Boilerplate:编写PySpark作业的样板
05-17
- **运行作业**: 使用`pyspark`命令启动Spark Shell，或通过`spark-submit`提交作业。 - **集成测试**: 确保所有模块按预期工作。 总之，PySpark-Boilerplate项目为PySpark作业提供了一个标准化的起点，帮助开发者...
Laravel开发-spark
08-28
在 Laravel 的生态系统中，Spark 是一个专门为构建 SaaS (Software as a Service) 应用程序而设计的启动框架。Spark 提供了一套全面的功能，帮助开发者快速搭建和定制自己的在线服务。下面将详细探讨 Laravel Spark ...
livy-0.4.0 部署版免编译
12-07
这对于初学者和那些希望快速启动Spark服务的开发者来说是个福音。 以下是关于Livy-0.4.0部署版的关键知识点： 1. **安装与配置**：下载并解压`livy-0.4.0-incubating-bin`压缩包后，你需要配置`conf/livy.conf`...
spark启动流程1
longlovefilm的博客
12-04 1246
1 standalone模式 1.Driver端启动SparkSubmit进程，启动后开始向Master进行通信，此时创建了一个对象（SparkContext），接着向Master发送任务消息 2.Master接收到任务信息后，开始资源调度，此时会和所有的Worker进行通信，找到空闲的Worker，并通知Worker来拿取任务和启动相应的Executor 3.Executor启动后，开始与Driver进行反向注册，接下来Driver开始把任务发送给相应的Executor，Executor开始计算任.
spark启动程序命令
weixin_39971163的博客
09-06 2075
使用standalone的client方式启动命令： ./spark-submit --master spark://hive01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.2.0.jar 300 使用standalone的...
Spark Streaming正确关闭方法
shengpli′s blog
01-24 5124
Ｓｐａｒｋ１．６以后 １．配置以下参数 spark.streaming.stopGracefullyOnShutdown＝ｔｒｕｅ 解释 该参数决定是否需要以Gracefully方式来关闭Streaming程序（详情请参见SPARK-7776）。Spark会在启动 StreamingContext 的时候注册这个钩子，如下： shutdownHookRef = Shutdown
Spark中在关闭资源时stop和close的区别
m0_71265717的博客
04-16 913
2. close 方法通常用于关闭一些需要手动关闭的资源，例如 JDBC 连接、Hadoop FileSystem 等。1. stop 方法通常用于关闭 SparkContext，以释放与 Spark 相关的所有资源，如 DAGScheduler、Executor、BlockManager 等。因此，如果要关闭 Spark 相关的所有资源，应该使用 stop 方法；在 Spark 中，虽然stop 和 close 都是用于关闭资源的方法，但是它们面向的资源不同。
Spark stop时抛出异常
Chain的博客
10-24 1900
在集群运行spark任务时，发现spark在stop时抛出了一个异常，具体异常如下： 21/10/24 19:56:51 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() for one-way message. org.apache.spark.SparkException: Could not find CoarseGrainedScheduler. at org.apache.spark.rpc..
【随记】SparkSession 什么时候需要用close/stop方法？
西瓜太郎
09-01 5781
1 问题发现 以下两段代码之间的区别是什么？ Example1 用了 spark.close Example2 没用 spark.close object Example1 { def main(args: Array[String]): Unit = { try { val spark = SparkSession.builder.getOrCreate // spark code here } finally {
06: Spark集群环境搭建
lijun05的博客
09-17 2288
Spark集群配置

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值