spark stage 中的CallSite

于 2020-06-16 17:23:10 发布
阅读量436 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013939918/article/details/106791261
版权

先看源码注释中的内容

CallSite represents a place in user code. It can have a short and a long form.
  /* CallSite表示用户代码中的一个位置。它可以有短的和长的形式。 */

实际去debug一个案例 查看，callsite中存储了哪些内容。

下边两张图为自己的代码。

下边一张图为stage的内容。

 

正如注释写的一样 ，callsite  分为log和short。名字为logfrom  shortfrom。按照字面意思理解，这个stage从哪里来 怎么得到的。short中直接给了一个 rdd定义的位置，那么callsite short信息 在描述 该stage内有哪些rdd，并且这些rdd在代码第几行定义。

callsite long相对来说就更详细。

为什么要做这件事，个人猜测和执行效率或者容错有关

哥伦布112
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark学习-31-spark2.2.0中Utils.getCallSite()的作用
九师兄
11-17 1643
1。先看代码解析 /** * When called inside a class in the spark package, returns the name of the user code class * (outside the spark package) that called into Spark, as well as which Spark method they ca
java call类_java11教程--类CallSite用法
weixin_39797912的博客
02-16 1050
CallSite是变量MethodHandle的持有者 ，其名称为target 。链接到CallSite的invokedynamic指令委托对站点当前目标的所有调用。CallSite可以与若干invokedynamic指令相关联，或者它可以是“自由浮动”，与无关联。在任何情况下，都可以通过名为dynamic invoker的关联方法句柄调用它。CallSite是一个抽象类，不允许用户直接子类化。 ...
Spark 2.1 CallSite
houzhizhen的专栏
04-20 962
CallSite DefinitionCallSite represents a place in user code. It can have a short and a long form.private[spark] case class CallSite(shortForm: String, longForm: String)private[spark] object CallSite {
caller-callsite:获取呼叫者功能的呼叫站点
05-13
来电者 获取呼叫者功能的呼叫 安装 $ npm install caller-callsite 用法 // foo.js const callerCallsite = require ( 'caller-callsite' ) ; module . exports = ( ) => { console . log ( callerCallsite ( ) . getFileName ( ) ) ; //=> '/Users/sindresorhus/dev/unicorn/bar.js' } // bar.js const foo = require ( './foo' ) ; foo ( ) ; 原料药 callerCallsite（选项？） 返回一个对象。 选项 类型： object 深度 类型： number 默认值： 0 呼叫站点深度，表示我们在堆栈跟踪中跟踪的级别数。
Groovy深入探索——Call Site分析
JohnnyJian
03-16 1927
Groovy 1.6引入了Call Site优化。Call Site优化实际上就是方法选择的cache。 [size=x-large]方法选择[/size] 在静态语言（如Java）中，方法调用的绑定是在编译期完成的（不完全是这样，如虚函数，但总的来说，静态语言的方法调用是非常高效的）。而在动态语言（如Groovy）中，调用的方法是在运行时选择的。这也是造成动态语言比静态语言慢的重要原因之...
Groovy中方法的调用实现方式浅析(CallSite)
weixin_33850890的博客
05-04 953
2019独角兽企业重金招聘Python工程师标准>>> ...
node-stack-trace：获取v8堆栈跟踪作为CallSite对象的数组
03-01
获取v8堆栈跟踪作为CallSite对象的数组。 安装 npm install stack-trace 用法 堆栈跟踪模块使您可以轻松捕获当前堆栈： var stackTrace = require ( 'stack-trace' ) ; var trace = stackTrace . get ( ) ; ...
callsite-record：为错误和函数调用站点创建奇特的日志条目
02-21
通话记录 为错误和函数调用站点创建奇特的日志条目。 对于错误： 'use strict' ;... 对于在堆栈中调用的函数： 'use strict' ; const createCallsiteRecord = require ( 'callsite-record' ) ; function f
Java中invokedynamic字节码指令问题
08-26
在后续的方法调用中，invokedynamic指令会直接从常量池中获取CallSite对象，减少了方法调用的开销。 在Java中，invokedynamic指令可以用于实现各种类型的方法引用，包括静态方法引用、实例方法引用、构造方法引用和...
c# 4.0新特性一览
07-30
在这一版本中，C#开始更加紧密地与动态语言集成，同时也对现有特性进行了增强。 **动态类型（Dynamic Typing）** C# 4.0引入了`dynamic`关键字，允许变量在编译时为动态类型，而在运行时确定其实际类型。这使得...
第二人生的源码分析(6)类CallSite的实现
大坡3D软件开发
01-04 4463
类CallSite提供了保存一行Log的信息，以便保存所有的LOG到容器里，方便管理以及输出到文件，同时输出到其它需要输出的界面。使用这个类是先调类CallSite的构造函数来保存Log所在的函数名称、类名称、文件名称和行号，还有是否需要输出Log等信息，接着就保存在类Log里保存到全局的容器里。它的代码如下：#001 namespace LLError#002 {#003  Call
spark算子理解
dian张
03-06 263
map:将源JavaRDD的一个一个元素的传入call方法，并经过算法后一个一个的返回从而生成一个新的JavaRDD flatMap:比map多的功能是能在任何一个传入call方法的元素后面添加任意多元素，而能达到这一点，正是因为其进行传参是依次进行的 mapPartitions:传参的方式是将整个RDD传入，然后将一个迭代器传出生成一个新的RDD keyBy:将给从RDD传入的参数一个Ke...
Spark读Hbase代码call()函数报错解决
lyxuan1208的博客
03-22 1026
报错原文：The method call(String) of type new VoidFunction(){} must override a superclass method 源代码：JavaRDD cars = myRDD.flatMap(new FlatMapFunction, String>(){             private static final long ser
getCallSite方法的作用
阿生
03-24 1408
SparkContext中getCallSite方法的作用 先看图片如下： 源码如下： def getCallSite(skipClass: String => Boolean = sparkInternalExclusionFunction): CallSite = { // Keep crawling up the stack trace until we fi...
JVM invokedynamic调用指令
feather(猎羽)
09-16 1590
转载请注明链接: JVM invokedynamic调用指令 版本号:2018/09/15-1(0:00) JVM invokedynamic调用指令 基础-方法句柄(32) 赛马问题 方法句柄 创建 操作 方法句柄的实现 方法句柄性能 invokedynamic调用指令(28) 调用点 invokedynamic使用实例 Java8 Lambda表达式 Lambda...
深入理解Spark RDD——RDD信息对象
beliefer的博客
08-16 3148
RDDInfo用于描述RDD的信息，RDDInfo提供的信息如下： id：RDD的id。 name：RDD的名称。 numPartitions：RDD的分区数量。 storageLevel：RDD的存储级别（即StorageLevel）。 parentIds：RDD的父亲RDD的id序列。这说明一个RDD会有零到多个父RDD。 callSite：RDD的用户调用栈信息。 scope：...
Spark中常用工具类Utils的简明介绍
beliefer的博客
03-16 9463
Utils是Spark中最常用的工具类之一，如果不关心其实现，也不会对理解Spark有太多影响。但是对于Scala或者Spark的初学者来说，通过了解Utils工具类的实现，也是个不错的入门途径。下面将逐个介绍Utils工具类提供的常用方法。
.net软件反编译笔记
weixin_30507481的博客
04-18 271
在软件的破解及源码获取及重新编译的道路上会遇到一些问题，书此备查。 大名鼎鼎的Reflector以及开源的ILSPY都是.NET程序集的反编译利器，但是它们不能为你做全部的工作。 0x01: 遇到反编译所得源码里面调用类的属性时多出set_Name或者get_Name之类的说明程序集引用没有加载完全， 因为反编译工具在没有元数据的情况下无法判断这丫的到底是个方法还是个属性。 有时候反编译...
JDK7动态方法调用
云原生之家
12-20 4568
在JDK7中，Java提供了对动态语言特性的支持，实现了JSR 292 《Supporting Dynamically Typed Languages on the Java Platform》规范，这是Java语言发展的一重大进步，而提供对动态语言特性支持也是Java发展的一大趋势与方向。那么动态性表现在哪里呢？其一在Java API层面，新增了java.lang.invoke包，主要包含了Ca
<?xml version="1.0" encoding="utf-8" ?> <nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.nlog-project.org/schemas/NLog.xsd NLog.xsd" autoReload="true" throwExceptions="false" internalLogLevel="Off" internalLogFile="c:\temp\nlog-internal.log"> <!-- optional, add some variables https://github.com/nlog/NLog/wiki/Configuration-file#variables --> <variable name="myvar" value="myvalue"/> <!-- See https://github.com/nlog/nlog/wiki/Configuration-file for information on customizing logging rules and outputs. --> <targets> <!-- add your targets here See https://github.com/nlog/NLog/wiki/Targets for possible targets. See https://github.com/nlog/NLog/wiki/Layout-Renderers for the possible layout renderers. --> <!-- Write events to a file with the date in the filename. <target xsi:type="File" name="f" fileName="${basedir}/logs/${shortdate}.log" layout="${longdate} ${uppercase:${level}} ${message}" /> --> <target xsi:type="File" name="f" fileName="logs/${shortdate}.log" archiveFileName="logs/archive.{#}.log" archiveEvery="Day" archiveNumbering="Rolling" maxArchiveFiles="30" concurrentWrites="true" keepFileOpen="false" encoding="utf-8"> <layout xsi:type="CsvLayout" delimiter="auto" withHeader="true" > <column name="time" layout="${longdate:universalTime=false}" /> <column name="threadid" layout="${threadid}"/> <column name="level" layout="${level:upperCase=true}"/> <column name="callsite" layout="${callsite:includeSourcePath=true}" /> <column name="message" layout="${message}" /> <column name="stacktrace" layout="${callsite:includeSourcePath=true}" /> <column name="exception" layout="${exception:format=ToString}"/> </layout> </target> <target xsi:type="File" name="c" layout="${threadid} ${uppercase:${level}} ${message} ${callsite} ${exception:format=tostring}" /> </targets> <rules> <!-- add your logging rules here --> <!-- Write all events with minimal level of Debug (So Debug, Info, Warn, Error and Fatal, but not Trace) to "f" <logger name="*" minlevel="Debug" writeTo="f" /> --> <logger name="*" writeTo="f,c" /> </rules> </nlog>NLog这个配置给我怎么加注释说明
最新发布
06-04
在NLog配置文件中添加注释可以使用XML的注释标记`<!-- 注释内容 -->`，例如： ``` <?xml version="1.0" encoding="utf-8" ?> <nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.nlog-project.org/schemas/NLog.xsd NLog.xsd" autoReload="true" throwExceptions="false" internalLogLevel="Off" internalLogFile="c:\temp\nlog-internal.log"> <!-- 定义变量 --> <variable name="myvar" value="myvalue"/> <!-- 定义日志输出目标 --> <targets> <!-- 文件日志 --> <target xsi:type="File" name="f" fileName="logs/${shortdate}.log" archiveFileName="logs/archive.{#}.log" archiveEvery="Day" archiveNumbering="Rolling" maxArchiveFiles="30" concurrentWrites="true" keepFileOpen="false" encoding="utf-8"> <layout xsi:type="CsvLayout" delimiter="auto" withHeader="true" > <column name="time" layout="${longdate:universalTime=false}" /> <column name="threadid" layout="${threadid}"/> <column name="level" layout="${level:upperCase=true}"/> <column name="callsite" layout="${callsite:includeSourcePath=true}" /> <column name="message" layout="${message}" /> <column name="stacktrace" layout="${callsite:includeSourcePath=true}" /> <column name="exception" layout="${exception:format=ToString}"/> </layout> </target> <!-- 控制台日志 --> <target xsi:type="File" name="c" layout="${threadid} ${uppercase:${level}} ${message} ${callsite} ${exception:format=tostring}" /> </targets> <!-- 定义日志输出规则 --> <rules> <logger name="*" writeTo="f,c" /> </rules> </nlog> ``` 在需要注释的地方添加注释即可，例如： ``` <!-- 定义变量 --> <variable name="myvar" value="myvalue"/> <!-- 定义日志输出目标 --> <targets> <!-- 文件日志 --> <target xsi:type="File" name="f" fileName="logs/${shortdate}.log" archiveFileName="logs/archive.{#}.log" archiveEvery="Day" archiveNumbering="Rolling" maxArchiveFiles="30" concurrentWrites="true" keepFileOpen="false" encoding="utf-8"> <layout xsi:type="CsvLayout" delimiter="auto" withHeader="true" > <column name="time" layout="${longdate:universalTime=false}" /> <column name="threadid" layout="${threadid}"/> <column name="level" layout="${level:upperCase=true}"/> <column name="callsite" layout="${callsite:includeSourcePath=true}" /> <column name="message" layout="${message}" /> <column name="stacktrace" layout="${callsite:includeSourcePath=true}" /> <column name="exception" layout="${exception:format=ToString}"/> </layout> </target> <!-- 控制台日志 --> <target xsi:type="File" name="c" layout="${threadid} ${uppercase:${level}} ${message} ${callsite} ${exception:format=tostring}" /> </targets> <!-- 定义日志输出规则 --> <rules> <logger name="*" writeTo="f,c" /> </rules> ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值