Apache Spark源码走读（九）如何进行代码跟读&使用Intellij idea调试Spark源码

最新推荐文章于 2023-07-29 22:22:59 发布
最新推荐文章于 2023-07-29 22:22:59 发布
阅读量166 收藏
点赞数
文章标签： 大数据 scala 开发工具
原文链接：https://yq.aliyun.com/articles/60621
版权

<一>如何进行代码跟读

概要

今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。众所周知，Spark使用scala进行开发，由于scala有众多的语法糖，很多时候代码跟着跟着就觉着线索跟丢掉了，另外Spark基于Akka来进行消息交互，那如何知道谁是接收方呢？

new Throwable().printStackTrace

代码跟读的时候，经常会借助于日志，针对日志中输出的每一句，我们都很想知道它们的调用者是谁。但有时苦于对spark系统的了解程度不深，或者对scala认识不够，一时半会之内无法找到答案，那么有没有什么简便的办法呢？

我的办法就是在日志出现的地方加入下面一句话

new Throwable().printStackTrace()

现在举一个实际的例子来说明问题。

比如我们在启动spark-shell之后，输入一句非常简单的sc.textFile("README.md")，会输出下述的log

14/07/05 19:53:27 INFO MemoryStore: ensureFreeSpace(32816) called with curMem=0, maxMem=308910489
14/07/05 19:53:27 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 32.0 KB, free 294.6 MB)
14/07/05 19:53:27 DEBUG BlockManager: Put block broadcast_0 locally took  78 ms
14/07/05 19:53:27 DEBUG BlockManager: Putting block broadcast_0 without replication took  79 ms
res0: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at :13

那我很想知道是第二句日志所在的tryToPut函数是被谁调用的该怎么办？

办法就是打开MemoryStore.scala，找到下述语句

logInfo("Block %s stored as %s in memory (estimated size %s, free %s)".format(
          blockId, valuesOrBytes, Utils.bytesToString(size), Utils.bytesToString(freeMemory)))

在这句话之上，添加如下语句

new Throwable().printStackTrace()

 然后，重新进行源码编译

sbt/sbt assembly

再次打开spark-shell,执行sc.textFile("README.md"),就可以得到如下输出，从中可以清楚知道tryToPut的调用者是谁

14/07/05 19:53:27 INFO MemoryStore: ensureFreeSpace(32816) called with curMem=0, maxMem=308910489
14/07/05 19:53:27 WARN MemoryStore: just show the calltrace by entering some modified code
java.lang.Throwable
  at org.apache.spark.storage.MemoryStore.tryToPut(MemoryStore.scala:182)
  at org.apache.spark.storage.MemoryStore.putValues(MemoryStore.scala:76)
  at org.apache.spark.storage.MemoryStore.putValues(MemoryStore.scala:92)
  at org.apache.spark.storage.BlockManager.doPut(BlockManager.scala:699)
  at org.apache.spark.storage.BlockManager.put(BlockManager.scala:570)
  at org.apache.spark.storage.BlockManager.putSingle(BlockManager.scala:821)
  at org.apache.spark.broadcast.HttpBroadcast.(HttpBroadcast.scala:52)
  at org.apache.spark.broadcast.HttpBroadcastFactory.newBroadcast(HttpBroadcastFactory.scala:35)
  at org.apache.spark.broadcast.HttpBroadcastFactory.newBroadcast(HttpBroadcastFactory.scala:29)
  at org.apache.spark.broadcast.BroadcastManager.newBroadcast(BroadcastManager.scala:62)
  at org.apache.spark.SparkContext.broadcast(SparkContext.scala:787)
  at org.apache.spark.SparkContext.hadoopFile(SparkContext.scala:556)
  at org.apache.spark.SparkContext.textFile(SparkContext.scala:468)
  at $line5.$read$$iwC$$iwC$$iwC$$iwC.(:13)
  at $line5.$read$$iwC$$iwC$$iwC.(:18)
  at $line5.$read$$iwC$$iwC.(:20)
  at $line5.$read$$iwC.(:22)
  at $line5.$read.(:24)
  at $line5.$read$.(:28)
  at $line5.$read$.()
  at $line5.$eval$.(:7)
  at $line5.$eval$.()
  at $line5.$eval.$print()
  at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  at java.lang.reflect.Method.invoke(Method.java:483)
  at org.apache.spark.repl.SparkIMain$ReadEvalPrint.call(SparkIMain.scala:788)
  at org.apache.spark.repl.SparkIMain$Request.loadAndRun(SparkIMain.scala:1056)
  at org.apache.spark.repl.SparkIMain.loadAndRunReq$1(SparkIMain.scala:614)
  at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:645)
  at org.apache.spark.repl.SparkIMain.interpret(SparkIMain.scala:609)
  at org.apache.spark.repl.SparkILoop.reallyInterpret$1(SparkILoop.scala:796)
  at org.apache.spark.repl.SparkILoop.interpretStartingWith(SparkILoop.scala:841)
  at org.apache.spark.repl.SparkILoop.command(SparkILoop.scala:753)
  at org.apache.spark.repl.SparkILoop.processLine$1(SparkILoop.scala:601)
  at org.apache.spark.repl.SparkILoop.innerLoop$1(SparkILoop.scala:608)
  at org.apache.spark.repl.SparkILoop.loop(SparkILoop.scala:611)
  at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply$mcZ$sp(SparkILoop.scala:936)
  at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply(SparkILoop.scala:884)
  at org.apache.spark.repl.SparkILoop$$anonfun$process$1.apply(SparkILoop.scala:884)
  at scala.tools.nsc.util.ScalaClassLoader$.savingContextLoader(ScalaClassLoader.scala:135)
  at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:884)
  at org.apache.spark.repl.SparkILoop.process(SparkILoop.scala:982)
  at org.apache.spark.repl.Main$.main(Main.scala:31)
  at org.apache.spark.repl.Main.main(Main.scala)
  at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
  at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  at java.lang.reflect.Method.invoke(Method.java:483)
  at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:303)
  at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
  at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
14/07/05 19:53:27 INFO MemoryStore: Block broadcast_0 stored as values in memory (estimated size 32.0 KB, free 294.6 MB)
14/07/05 19:53:27 DEBUG BlockManager: Put block broadcast_0 locally took  78 ms
14/07/05 19:53:27 DEBUG BlockManager: Putting block broadcast_0 without replication took  79 ms
res0: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at :13

git同步

对代码作了修改之后，如果并不想提交代码，那该如何将最新的内容同步到本地呢？

git reset --hard
git pull origin master

 Akka消息跟踪

追踪消息的接收者是谁，相对来说比较容易，只要使用好grep就可以了，当然前提是要对actor model有一点点了解。

还是举个实例吧，我们知道CoarseGrainedSchedulerBackend会发送LaunchTask消息出来，那么谁是接收方呢？只需要执行以下脚本即可。

grep LaunchTask -r core/src/main

 从如下的输出中，可以清楚看出CoarseGrainedExecutorBackend是LaunchTask的接收方，接收到该函数之后的业务处理，只需要去看看接收方的receive函数即可。

core/src/main/scala/org/apache/spark/executor/CoarseGrainedExecutorBackend.scala:    case LaunchTask(data) =>
core/src/main/scala/org/apache/spark/executor/CoarseGrainedExecutorBackend.scala:        logError("Received LaunchTask command but executor was null")
core/src/main/scala/org/apache/spark/scheduler/cluster/CoarseGrainedClusterMessage.scala:  case class LaunchTask(data: SerializableBuffer) extends CoarseGrainedClusterMessage
core/src/main/scala/org/apache/spark/scheduler/cluster/CoarseGrainedSchedulerBackend.scala:          executorActor(task.executorId) ! LaunchTask(new SerializableBuffer(serializedTask))

 小结

今天的内容相对简单，没有技术含量，自己做个记述，免得时间久了，不记得。

<二>使用Intellij idea调试Spark源码

概要

上篇博文讲述了如何通过修改源码来查看调用堆栈，尽管也很实用，但每修改一次都需要编译，花费的时间不少，效率不高，而且属于侵入性的修改，不优雅。本篇讲述如何使用intellij idea来跟踪调试spark源码。

前提

本文假设开发环境是在Linux平台，并且已经安装下列软件，我个人使用的是arch linux。

  1. jdk
  2. scala
  3. sbt
  4. intellij-idea-community-edition

安装scala插件

为idea安装scala插件，具体步骤如下：

  1. 选择File->Setting

2. 选择右侧的Install Jetbrains Plugin，在弹出窗口的左侧输入scala，然后点击安装，如下图所示：

 3. scala插件安装结束，需要重启idea生效

由于idea 13已经原生支持sbt，所以无须为idea安装sbt插件。

源码下载和导入

下载源码，假设使用git同步最新的源码:

git clone https://github.com/apache/spark.git

导入Spark源码

   1. 选择File->Import Project, 在弹出的窗口中指定spark源码目录

   2. 选择项目类型为sbt project，然后点击next

   3. 在新弹出的窗口中先选中"Use auto-import",然后点击Finish

 

导入设置完成，进入漫长的等待，idea会对导入的源码进行编译，同时会生成文件索引。

如果在提示栏出现如下的提示内容"is waiting for .sbt.ivy.lock"，说明该lock文件无法创建，需要手工删除，具体操作如下:

cd $HOME/.ivy2
rm *.lock

手工删除掉lock之后，重启idea,重启后会继续上次没有完成的sbt过程。

源码编译

使用idea来编译spark源码，中间会有多次出错，问题的根源是sbt/sbt gen-idea的时候并没有很好的解决依赖关系。

解决办法如下，

   1. 选择File->Project Structures

   2. 在右侧dependencies中添加新的module

选择spark-core

其它模块如streaming-twitter, streaming-kafka, streaming-flume, streaming-mqtt出错的情况解决方案与此类似。

注意Example编译报错时的处理稍有不同，在指定Dependencies的时候，不是选择Library而是选择Module dependency,在弹出的窗口中选择sql.

有关编译出错问题的解决可以看一下这个链接，http://apache-spark-user-list.1001560.n3.nabble.com/Errors-occurred-while-compiling-module-spark-streaming-zeromq-IntelliJ-IDEA-13-0-2-td1282.html

调试LogQuery

1. 选择Run->Edit configurations

2. 添加Application,注意右侧窗口中配置项内容的填写，分别为Main class， vm options, working directory, use classpath of module

-Dspark.master=local 指定Spark的运行模式，可根据需要作适当修改。

3. 至此，在Run菜单中可以发现有"Run LogQuery"一项存在，尝试运行，保证编译成功。

4. 断点设置，在源文件的左侧双击即可打上断点标记，然后点击Run->"Debug LogQuery", 大功告成，如下图所示，可以查看变量和调用堆栈了。

 

参考

  1. http://8liang.cn/intellij-idea-spark-development
weixin_34000916
关注
Apache Spark源码走读：如何进行代码跟读
01-06
Apache Spark源码走读之如何进行代码跟读
使用Intellij idea调试Spark源码
大数据机器学习
07-19 4690
前提 本文假设开发环境是在Linux平台，并且已经安装下列软件，我个人使用的是arch linux。 jdk scala sbt intellij-idea-community-edition 安装scala插件 为idea安装scala插件，具体步骤如下 选择File->Setting        2 步骤2： 选择右侧的
idea如何阅读Java源码,Java基础篇：如何在idea中阅读源码
weixin_33247358的博客
03-19 187
万丈高楼平地起，要想阅读源码，首先要学会如何阅读源码，这篇将讲诉如何在idea中畅游源码世界。1、定位到构造器/方法实现类public static void main(String[] args) {ArrayListarrayList=new ArrayList<>();arrayList.add("hh");}如以上代码，IDEA 如何跳转到 new ArrayList<&...
Springframework源码走读： 第一步导入IntelliJ Idea经验指导
weixin_30673611的博客
05-28 224
前期准备 1、本次使用的IntelliJ Idea是版本2018.1.1 2、安装GIT，拉取spring-framework的源码 　　spring-framework的源码地址： 3、安装gradle：（此处要注意） 　　1：IDEA相匹配的grandle。eg：IDEA2018.1的gradle插件是4.4所以最好使用4.x中大于等于4.4版本的gradle；查看方式：就是去看I...
基于maven使用IDEA走读TestNG源码(Mac)
进击的WTVUA的博客
06-08 249
之前用Python执行程序都是python xxx.py，最近在使用Java技术栈的TestNG，于是想能够也用命令行实现… 创建一个Maven项目 确保已安装了Maven，可使用Maven命令后，使用以下命令可快速创建Maven项目 mvn archetype:generate -DgroupId=com.mycompany.app -DartifactId=my-app -DarchetypeArtifactId=maven-archetype-quickstart -DarchetypeVersion
ApacheSpark源码走读（二）
02-26
本文就Graphx的代码架构及PageRank在Graphx中的具体实现做一个初步的学习。当Google还在起步的时候，在搜索引擎领域，Yahoo!正如日中天，红的发紫。显然，在Google面前的是一堵让人几乎没有任何希望的墙。但世事难料...
Apache Spark源码走读之2 -- Job的提交与运行
01-06
Apache Spark是当前大数据处理领域非常流行的一个开源分布式计算系统。它具有高效、通用、易用的特点，可以运行在Hadoop、Mesos、独立集群或云环境中，并且可以使用Scala、Java、Python或R等多种语言进行操作。...
Apache Spark 3.0 RDD编程指南
纸上得来终觉浅，绝知此事要躬行
09-05 680
RDD 是Apache Spark编程非常重要的一个特性。Spark使用Scala语言编写并支持Java和Python。 目录 总览 与Spark链接 Scala语言 Java语言 Python语言 初始化Spark Scala语言 Java语言 Python语言 使用Shell Scala语言 Python语言 弹性分布式数据集（RDD） 并行集合 Scala语言 Java语言 Python语言 外部数据集 Scala语言 Java语言 Python语言 ..
介绍 Apache Spark 的基本概念和在大数据分析中的应用
weixin_44353800的博客
05-24 836
Spark Streaming：是一个处理流数据的模块。Spark SQL：是一个用于处理结构化数据的模块，可以与多种数据源（如 JSON、Hive、Parquet、MySQL 等）进行交互。总之，Apache Spark 的高性能、易用性和丰富的功能，使得其在大数据分析领域中得到了广泛的应用。MLlib：是 Spark 的机器学习库，提供了常见的机器学习算法，包括分类、回归、聚类、协同过滤等。数据清洗和转换：Spark 可以对大规模的数据集进行清洗和转换，使得数据更易于分析和使用。
idea代码神器-偷懒小妙招（新手勿用）
hhhahahaha的博客
06-30 387
Easycode是idea的一个插件，可以直接对数据的表生成entity,controller,service,dao,mapper,无需任何编码，简单而强大。 1、安装(EasyCode) 建议大家在安装一个插件，叫做Lombok。 Lombok能通过注解的方式，在编译时自动为属性生成构造器、getter/setter、equals、hashcode、toString方法。出现的神奇就是在源码中没有getter和setter方法，但是在编译生成的字节码文件中有getter和setter方法。 2.在ID
IDEA 阅读源码绝技
热门推荐
sinat
04-17 15万+
1、定位到方法实现类 publicstaticObjectgetBean(String name){ 　　returnapplicationContext.getBean(name); } 如以上代码，IDEA如何跳转到getBean方法的实现类？ 在IDEA中，CTRL+鼠标左击默认会跳到方法所在的接口，如getBean就会跳到BeanFactory接口...
【Python】PySpark 数据处理 ① ( PySpark 简介 | Apache Spark 简介 | Spark 的 Python 语言版本 PySpark | Python 语言场景 )
最新发布
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
07-29 1052
一、PySpark 简介 1、Apache Spark 简介 2、Spark 的 Python 语言版本 PySpark 3、PySpark 应用场景 4、Python 语言使用场景
谈谈代码走读
zhangbaolin的专栏
01-26 8972
代码走读的重要性就不说了，我想谈谈对代码走读的总体认识。首先代码走读前，代码必须编译通过，强类型检查的语言（比如JAVA）自带的编译器就够了，如果是弱类型检查的语言（比如C/C++）应该用辅助的静态检查工具（比如lint）进行检查，毕竟机器发现问题的效率要比人眼和人脑要高的多，机器能做的事情让机器去做。检查完成后，把编译错误和告警消除，才可以进入代码走读。其次，代码走读前要在项目组内部统一走读的标
Spark学习 基础函数功能详细说明 附代码和执行过程 上机学习详细说明
wyx100的专栏
07-20 1702
Spark学习 基础函数功能详细说明 附代码和执行过程log 上机学习详细说明
Spark系列七：Spark 任务执行的流程详解及相关概念
m0_37657725的博客
07-07 795
目录 spark总体流程图示 图解 详解DAG（Directed Acyclic Graph） 详解Stage 总结 细节流程 总体流程 线程池 序列化 spark总体流程图示： 图解： 四个步骤 1.RDD Objects:构建DAG（调用RDD上的方法） 2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以...
spark源码阅读之spark-shell
u011294077的专栏
06-25 1980
首先我们来看SPARK_HOME/bin/spark-shell脚本，内容： function main() { if $cygwin; then stty -icanon min 1 -echo > /dev/null 2>&1 export SPARK_SUBMIT_OPTS="$SPARK_SUBMIT_OPTS -Djline.terminal=unix" "
值得一试的 Intellij IDEA 的小技巧，让你的代码轻松起飞！
06-13 1028
Intellij IDEA真是越用越觉得它强大，它总是在我们写代码的时候，不时给我们来个小惊喜。我决定把一些好用的Intellij IDEA技巧分享给大家。介绍一些你可能不知道的但是又实用的小技巧。 我们可以使用【Presentation Mode】，将IDEA弄到最大，可以让你只关注一个类里面的代码，进行毫无干扰的coding。 可以使用Alt+V快捷键，弹出View视图，然后选择Enter Presentation Mode。效果如下： 这个模式的好处就是，可以让你更加专注，因为你只能看到特定某个类的
spark 使用中会遇到的一些问题及解决思路
xiao_jun_0820的专栏
04-14 6万+
7 内存溢出问题     在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题： Exception in thread "Thread-2" java.lang.
Spark源码阅读技巧：代码跟读与日志调试
"Apache Spark源码走读：如何进行代码跟读" 在深入研究Apache Spark源码时，了解如何有效地进行代码跟读是一项重要的技能。Apache Spark是一个流行的分布式计算框架，它使用Scala语言编写，结合了内存计算和快速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值