btrace一些你不知道的事(源码入手)

最新推荐文章于 2021-07-01 16:32:20 发布
最新推荐文章于 2021-07-01 16:32:20 发布
阅读量286 收藏
点赞数
分类专栏： btrace 文章标签： SUN Socket JVM Oracle JDK

背景 

   周五下班回家，在公司班车上觉得无聊，看了下btrace的源码(自己反编译)。 一些关于btrace的基本内容，可以看下我早起的一篇记录：btrace记忆

 

   上一篇主要介绍的是btrace的一些基本使用以及api，这里我想从btrace源码本身进行下介绍。至于btrace的优势，能用来干些什么，自己上他的官网看下或者google一下，花个半小时就能明白了。

 

   至于为什么会去反编译查看btrace源码，主要是会在部门整个关于btrace的分享。同时btrace的相关技术文档缺乏，javadoc很多时候说的不明不白，作者也没有提供源码开源，所以就有了这次的分享。

Btrace涉及相关技术

  1. asm 
  2. instrument   http://download.oracle.com/javase/6/docs/api/java/lang/instrument/package-summary.html
  3. JVM TI(java tool api)   http://download.oracle.com/javase/6/docs/jdk/api/attach/spec/com/sun/tools/attach/VirtualMachine.html
  4. Java Compiler Api   http://download.oracle.com/javase/6/docs/api/javax/tools/package-summary.html

大家可以先去预备一下知识。

 

Btrace的大体设计

下面来看一个Btrace的设计图：


 

 

说明： 

1. BtraceClient ： 为我们使用的btrace的本地api，一般我们使用的bin/btrace会在本地启动一个btrace jvm，其内部使用了Java Complier Api, JVMTI技术，以及创建了一个socket。

 

  • Java Complier Api：动态的将我们传递的监控的java源文件动态编译成.class文件
  • JVMTI：　主要是利用了java 1.6之后的VirtaulMachine技术，动态的attach到一个已启动的jvm上，为他去启动一个BtraceAgent。该Agent会为BtraceClient启动一个server socket进行通讯。(多进程之间的通讯)
  • 本地socket：　BtraceClient和BtraceAgent之间的数据通讯，比如生成的.class发送到BtraceAgent，还有一些Event事件等等。BtraceAgent同样可以将服务端print()的数据通过socket的方式回传给BtraceClient进行打印
2. BtraceAgent：为我们在目标jvm上植入的btrace agent实现。主要是Instrumentation技术, asm字节码处理技术。
  • BtraceAgent的启动可以有两种方式：　BtaceClient动态attach后进行启动，　另一种就是在目标jvm启动之前添加agent参数进行启动。
  • BtraceAgent会启动一个server socket，与BtraceClient客户端进行交互，客户端可以将监控的.class文件通过socket发送，同样也可以在jvm启动时直接指定对应本地的.class做为监控脚本。
  • BtraceAgent在接受到监控指令后，会遍历当前所有已经加载的class类，挨个进行匹配检查，并生成相应的监控字节码(监控方法)。

 

 

btrace的包结构：

  • btrace-client.jar
  • btrace-boot.jar
  • btrace-agent.jar

btrace-client

   一般我们通常直接使用的命令，比如：

 

bin/btrace $pid Btrace.java

 

都是直接调用了btrace-client包中的代码。

 

几个核心类介绍：

1. com.sun.btrace.client.Main （btrace的启动入口）

  •     调用Client进行complier(Java Compiler Api)和attach(JVM TI)处理

2. com.sun.btrace.client.Client

  • compiler方法 ： 调用了Java Complier Api进行动态编译你的Btrace.java文件
    this.compiler = ToolProvider.getSystemJavaCompiler();  
this.stdManager = this.compiler.getStandardFileManager(null, null, null);  
  
  
Verifier btraceVerifier = new Verifier(this.unsafe); //指定了btrace特定的语法校验器
     
  • attach方法： 调用VirtualMachine.attach(pid);vm.loadAgent(agentPath, agentArgs);动态加载btrace-agent.jar包
    传递给agent程序的几个参数:   
debug=true  
unsafe=true  
dumpClass=true  
dumpDir=xx  
trackRetransforms=true  ##是否记录instrument行为  
bootClassPath= xx ##agent.jar使用  
systemClassPath =xx ##agent.jar使用  
probeDescPath=xx
     
  • submit方法： 调用提交对应的instrument指令，并传递对应code的byte[]
    this.sock = new Socket("localhost", this.port);  
this.oos = new ObjectOutputStream(this.sock.getOutputStream());  
...  
  
WireIO.write(this.oos, new InstrumentCommand(code, args));
     

几点说明：

*   在调用了attach方法后，会通过btrace-agent.jar中的com.sun.btrace.agent.Main启动一个ServerSocket

int port = 2020;  
String p = (String)argMap.get("port");  
....  
ServerSocket ss;  
  try {  
     (isDebug()) debugPrint(new StringBuilder().append("starting server at ").append(port).toString());  
     System.setProperty("btrace.port", String.valueOf(port));  
     if ((scriptOutputFile != null) && (scriptOutputFile.length() > 0)) {  
          System.setProperty("btrace.output", scriptOutputFile);  
     }  
     ss = new ServerSocket(port);  
   } catch(Exception e) ....  
  
  
while (true)  
{  
   if (!isDebug()) continue; debugPrint("waiting for clients");  
   Socket sock = ss.accept();  
   if (!isDebug()) continue; debugPrint(new StringBuilder().append("client accepted ").append(sock).toString());  
   Client client = new RemoteClient(inst, sock);  
   handleNewClient(client);  
   continue;  
}
 

 

*  所以在submit中，会通过一个本地socket进行连接server，并提交相应的Btrace.java中的监控代码(这时应该是编译后的字节码).

 

3. com.sun.btrace.compiler.Verifier  btrace自定义的语法校验器

 

  • Boolean value = this.unsafe ? Boolean.TRUE : (Boolean)ct.accept(new VerifierVisitor(this), null);  // 注意下unsafe的判断
     

 

4.  com.sun.btrace.compiler.VerifierVisitor (具体的一些检查规则)

  •  visitBinary  String字符串的+限制
  •  visitClass  class的检查，不允许有父类，不允许有接口类，不允许非static变量，必须有Btrace @标签
  •  visitDoWhileLoop 不允许do while循环
  •  visitForLoop 不允许for循环
  •  visitMethod 必须为static public ，不允许出现synchronized标记
  •  visitNewArray 不允许出现new Array
  •  visitNewClass 不允许出现new 对象
  •  visitReturn 不允许有返回值
  •  visitSynchronized 不允许有同步快
  •  visitThrow visitTry 不允许有try catch的动作
  •  visitOther 除上面允许之外的，不允许有其他的

 说明：

*  看完Verifier和VerifierVisitor后，相信大家都应该明白了Btrace所谓的诸多限制，只是针对.java需要动态编译。如果我们预先生成.class文件，Btrace在1.2版本中并不会作类型合法性检查。(在将code发送给btrace-agent后，会在目标的jvm内部进行一次简单的Btrace语法检查，具体见后面Btrace-agent介绍)

 

5. com.sun.btrace.comm.XXX  Btrace的各种command指令

 

btrace-agent

大致了解了Client类中的attach和submit方法后，相信也能猜到对应agent的一些设计。简单的看一下

 

1. com.sun.btrace.agent.Main 为attach上之后agent的总入口，会调用agentmain()方法

  • main方法： 首先解析参数，然后会启动一个agentThread(Daemon线程)
  • parseArgs ： 对应的参数解析，客户端在attach时，提交给agent后的一些参数
    bootClassPath=xx.jar  //需要动态增加的jar  
systemClassPath=xx.jar  
noServer=true/false //是否启动server socket  
debug=true/false  
unsafe=true/false  
dumpClasses=true/false  
dumpDir=路径  
trackRetransforms=true/false  
probeDescPath=路径  
stdout=true/false   
script=文件  
scriptdir=路径  
scriptOutputFile=文件路径特别注意下相比于Btrace-client提交的参数中，多了几个script,scriptdir等参数，允许在Client调用服务端一个指定的Btrace script文件进行处理
      
  • loadBTraceScript ： 装载指定的script(注意是script和scriptDir中指定的script)，必须是.class文件，会调用FileClient进行处理,最后调用handleNewClient进行统一处理,最后调用handleNewClient进行统一instrument处理。
  • startServer ： main启动的agentThread会调用该方法，这里会启动一个serversocket，和btrace-client的客户端socket进行通讯，使用RemoteClient,最后调用handleNewClient进行统一instrument处理。
  • handleNewClient : 启动一个异步线程进行class Transformer，根据提交的byte[] code进行类文件重写

说明：

* 目前instrument进行字节码重写时，会重新load所有的class进行处理。(Btrace可以使用正则，父类的方式进行匹配，只能是挨个Class进行处理，看下是否有匹配的OnMethod)

* 相比于btrace-client提交过来的参数中，btrace-agent支持的参数中多了几个script,scriptdir等，允许在Client调用服务端一个指定的Btrace script文件进行处理，注意这里的script必须是编译后的.class文件。和通过socket提交的btrace在处理上没有太大的差异。

 

2. com.sun.btrace.agent.RemoteClient / FileClient ： (RemoteClient为通过socket提交的script , FileClient为script和scriptDir指定的script文件)

  • 两者的不同无非就是对应的结果输出方式不同，一个是传回给客户端，另一个是直接终端输出
  • 会调用Client.loadClass()进行btrace数据解析，主要是解析对应的OnMethod和OnProbe数据。

3. com.sun.btrace.agent.ProbeDescriptorLoader

  • 会解析对应Btrace script中出现的@OnProbe，解析xml文件中对应的@OnMethod信息

4. com.sun.btrace.agent.Client:  （RemoteClient和FileClient的共同父类）

  • instument中的Transformer的实现类
  • loadClass()方法： btrace script脚本解析
  • verify 首先进行class的校验， 调用Verity类进行检查（可手工执行：java com.sun.btrace.runtime.Verifier <.class file>）
  • runtime.defineClass(codeBuf); 使用反射重新装载class byte
  • transform： 核心的方法(isBTraceClass(cname)) || (isSensitiveClass(cname)) 过滤btrace内部类，已经一些Object,ThreadLocal,sun/reflect类)
  • instrument方法 : 方法中调用asm的ClassReader进行class对象解析，并设置Instrumentor进行Class对象处理

5.  com.sun.btrace.runtime.Instrumentor ： 是Btrace实现代码监控增强处理的核心逻辑

可以直接调用：

java com.sun.btrace.runtime.Instrumentor <btrace-class> <target-class>]
 

 

Btrace的几点总结

1. btrace支持的监控方式

  • 本地jvm监控：目前大多数都是用的是btrace和监控的目标java是在同一机器上
  • 远程jvm监控：需要在远程服务器启动时添加btrace-agent.jar，需要重写btrace客户端，完成和serversocket建立通讯，完成btrace script发送监控。
    1. VirtualMachine动态attach不支持远程操作，所以无法动态的进行agent添加。
2. btrace支持的jdk版本
  • java 1.4以及之前 ： 不支持，Instrument在jdk 1.5之后才出现。
  • java 1.5 ： 必须手动在jvm启动时添加btrace-agent.jar，因为VirtualMachine是在jdk 1.6之后才出现。
  • java 1.6 ： 推荐使用
agent启动：  
java -Xshare:off -javaagent:${BTRACE_HOME}/build/btrace-agent.jar=dumpClasses=false,debug=false,unsafe=false,probeDescPath=.,noServer=true,script=$1

具体的参数见上面的代码分析
 
 

3. btrace的支持的script方式有多种。

  • client上的.java文件
    会进行动态编译，会有比较多的语法限制，btrace一堆的你不能做的事
  • client上的.class文件
    没什么好讲的，自己写Btrace script时导入btrace-client.jar，写好后生成一个.class文件，再通过btrace pid Btrace.class进行启动。 
  • remote上的.class文件
    1. 修改btrace-client中的Client类，支持script和scriptDir的一些参数提交。
    2. 在remote机器上放置对应的btrace.class文件

4. btrace的使用是否会对java进程造成影响？（影响是肯定的，不过影响不大）

 

装载时的影响：

  • btrace每次使用，都会重新load所有的class。当然如果OnMethod不匹配，是不会被重新装载。所以跟你的OnMethod的匹配规则很有关系，如果使用+java.lang.Object。那就死定了。
退出后的影响：
  • btrace监控每次退出后，原先所有的class都不会被恢复，你的所有的监控代码依然一直在运行 
抓取了下btrace改写过后的类： 
public InstrumentServer(String ip, String port)
  {
    $btrace$com$agapple$btrace$Instrumentor$InstrumentTracer$bufferMonitor(this);
    this.ip = ip;
    this.port = port;
  }

private static void $btrace$com$agapple$btrace$Instrumentor$InstrumentTracer$bufferMonitor(@Self Object arg0)
  {
    if (!BTraceRuntime.enter(InstrumentTracer.runtime)) return; try { Field ipField = BTraceUtils.field("com.agapple.btrace.Instrumentor.InstrumentServer", "ip");
      Field portField = BTraceUtils.field("com.agapple.btrace.Instrumentor.InstrumentServer", "port");

      String ip = (String)BTraceUtils.get(ipField, self);
      String port = (String)BTraceUtils.get(portField, self);
      BTraceUtils.println(BTraceUtils.strcat(BTraceUtils.strcat(BTraceUtils.strcat("ip : ", BTraceUtils.str(ip)), " port : "), BTraceUtils.str(port)));
      BTraceRuntime.leave(); return; } catch (Throwable localThrowable) { BTraceRuntime.handleException(localThrowable);
    }
  }
注意其中的 if (!BTraceRuntime.enter(InstrumentTracer.runtime)) return;
再看一下 BTraceRuntime中对应方法的实现：

 

private volatile boolean disabled;

public static boolean enter(BTraceRuntime current)
  {
    if (current.disabled) return false;
    return map.enter(current);
  }
每次执行你的监控代码之前会先进行一个判断，判断当前是否处于监控中。你的客户端发起了exit指令后，该方法判断false，直接return。
所以btrace使用退出后会让你的代码多走了一个方法调用+一个对象属性判断，所以说影响还是非常的少

 



5. btrace诸多的使用限制，你必须得知道：

 

can not create new objects.
can not create new arrays.
can not throw exceptions.
can not catch exceptions.
can not make arbitrary instance or static method calls - only the public static methods of com.sun.btrace.BTraceUtils class or methods declared in the same program may be called from a BTrace program.
(pre 1.2) can not have instance fields and methods. Only static public void returning methods are allowed for a BTrace class. And all fields have to be static.
can not assign to static or instance fields of target program's classes and objects. But, BTrace class can assign to it's own static fields ("trace state" can be mutated).
can not have outer, inner, nested or local classes.
can not have synchronized blocks or synchronized methods.
can not have loops (for, while, do..while)
can not extend arbitrary class (super class has to be java.lang.Object)
can not implement interfaces.
can not contains assert statements.
can not use class literals.

 

说明： 

 

补充说明：

 

  • 正因为btrace有这诸多的限制，才可以让我们的监控代码可以更加的放心，这也正是btrace能普及的一个很重要的原因。
  • 不得不说的一个点：对String的"+"限制使用，让我们使用起来很不爽，不过还好在btrace 1.2之后，作者提供了一个StringBuilder。相比于strcat已经好用多了

6. btrace对string字符串的处理

  • 可以参看总结3，突破对应的限制。不是非常建议，因为总结4中提出即使btrace client退出后，服务端一直会运行btrace script。所以一旦有写的动作，会是一个长期持续的过程
  • btrace 1.2 release说明中，已经提到增加了StringBuilder进行字符串处理，至少比先前的strcat使用上已经方便很多了。具体查看：http://kenai.com/jira/browse/BTRACE-38

7. btrace的相关源码：

8. btrace中对OnMethod的Location使用上，以及一些annotation使用不明确，可以查看：http://kenai.com/projects/btrace/sources/hg/content/src/share/classes/com/sun/btrace/runtime/Instrumentor.java

 

说明： self, ProbeClassName , ProbeMethodName 在任何的Kind中都支持，所以就不在每个表格中赘述。

KindWhere.BEFOREWhere.AFTER
ARRAY_GET数组长度(int) , 数组类型(type)@return , 数组长度(int) , 数组类型(type)
ARRAY_SET原始数组类型(type) , 数组长度(int) , 目标数组类型(type)@return，原始数组类型(type) , 数组长度(int) , 目标数组类型(type)
CALL方法参数 , @TargetInstance , @TargetMethodOrField方法参数, @return , @TargetInstance , @TargetMethodOrField
CATCH异常类型(type)异常类型(type)
CHECKCAST 转型的目标类型转型的目标类型
ENTRY方法参数方法参数 
ERROR异常类型(throwable type)异常类型(throwable type)
FIELD_GET@TargetInstance,@TargetMethodOrField@TargetInstance,@TargetMethodOrField,@return 
FIELD_SETfldValueIndex,@TargetInstance,@TargetMethodOrFieldfldValueIndex,@TargetInstance,@TargetMethodOrField 
INSTANCEOF转型的目标类型转型的目标类型 
LINE行数 行数 
NEW对象类名 @return
NEWARRAY数组内部对象类名，类名数组内部对象类名，类名, @return 
RETURN无参数，@return , @Duration
SYNC_ENTRYsync对象sync对象
SYNC_EXITsync对象sync对象
THROW异常类型异常类型

 

 

最后

花了多个小时时间整理了这份blog，希望能给大家理解btrace，掌握btrace的使用能带来一些帮助！！ 

 

有问题和交流，欢迎站内联系

iteye_7245
关注
专栏目录
你一定不知道Swift源码怎么看？
听风轻咛
05-03 5493
我想你一定是在开玩笑。 源码怎么看，打开看呗！说这话的时候请收下我的轻蔑，哈哈。不过就这个问题我今天在知乎搜索了一通。不要问我为什么在知乎搜索，鬼知道知乎什么都有。 那么，请收下我的提问： 如何阅读Swift源码 知乎果然没有让我失望，结果教程如下； 如何阅读 Swift 标准库中的源码 顺便提一下，这次搜索还让我发现了一个比较不错的swift网站，有心的...
198个经典C#WinForm实例源码 超赞的完整版
07-14
"198个经典C#WinForm实例源码"包括： 1-窗体技巧 2-控件操作 3-图像操作 4-报表打印 5-系统操作 6-文件处理 7-网络操作 8-数据库操作 9-加密解密 10-硬件读写 11-游戏设计 "超赞的198个经典C#WinForm实例源码.zip " ...
btrace源代码
08-04
btrace 仓库取下的源代码，非常有收藏价值。
btrace 源码工程构建
youlong699的专栏
03-09 192
btrace 源代码由Mercurial管理。 mercurial 是分布式版本控制工具。所谓分布式就在每个终端都会维护一个完整的版本库，多人协作可以指定一个库作为中心库，所有人通过该库实现协作。 大体的工作流程是，首先，从一个中心库拷贝一份生成本地库，然后从本地库拷贝一份作为工作副本，对工作副本进行编辑操作；工作副本与本地库交互，然后本地库与远程库交互。   btrace源码：　ht...
btrace源码学习---顺序图
e5945的专栏
03-28 844
JDK【Btrace】-线上代码调试
斩浪
03-14 977
BTrace是神器，每一个需要每天解决线上问题，但完全不用BTrace的Java工程师，都是可疑的 -- 凯尔文. 萧BTrace的最大好处，是可以通过自己编写的脚本，获取应用的一切调用信息。而不需要不断地修改代码，加入System.out.println()， 然后重启，然后重启，然后重启应用！！！同时，特别严格的约束，保证自己的消耗特别小，只要定义脚本时不作大死，直接在生产环境打开也没影响。在...
BTrace二三事之二：OnMethod子类匹配BUG(怀疑)
04-17
【标题】：“BTrace二三事之二：OnMethod子类匹配BUG(怀疑)” 【内容详解】： BTrace是一款强大的、低侵入性的Java应用动态跟踪工具，它允许开发者在运行时对Java应用程序进行诊断和性能分析。这篇文章主要探讨的...
java源码包---java 源码 大量 实例
04-18
　Java局域网通信——飞鸽传书源代码，大家都知道VB版、VC版还有Delphi版的飞鸽传书软件，但是Java版的确实不多，因此这个Java文件传输实例不可错过，Java网络编程技能的提升很有帮助。 Java聊天程序，包括服务端和...
Btrace 学习1
08-02
【描述】：Btrace 是一款强大的Java应用程序运行时分析工具，它允许开发者在不重启应用的情况下，实时地对正在运行的Java程序进行诊断和性能监控。通过深入剖析JVM（Java虚拟机）的工作机制，Btrace 提供了一种安全...
btrace-demo:demo项目
04-30
btrace-demo 示范项目
btrace-sr:BTrace 实战学习笔记，其号称“线上问题追踪神器”
05-25
btrace-sr 实战学习笔记，其号称“线上问题追踪神器”。
instrumentor
04-16
仪器 用于检测LLVM IR和位码的工具 设定 instrumentor使用本地版本的LLVM 12（特别是release/12.x分支），因为大多数发行版尚未开始发布LLVM 12。 提供了一个Makefile来构建instrumentor或依赖项。 只需在存储库的顶层说make 。 使用仪器 由于我们使用的是LLVM的本地版本，因此请永久修改$PATH和$LD_LIBRARY_PATH或为您的shell命令添加前缀，例如： LD_LIBRARY_PATH=$(realpath ./llvm-root/lib) PATH=$(realpath ./llvm-root/bin):$PATH stack build 要检测给定的LLVM位码模块，请说 LD_LIBRARY_PATH=$(realpath ./llvm-root/lib) PATH=$(realpath ./llvm-ro
BTrace 原理浅析
weixin_33910460的博客
11-12 122
之前在看agentzh的此篇博文动态追踪技术漫谈时，领会到了动态追踪技术的强大之处，也一直由于无法在不重启线上服务器的情况下排查线上问题在寻找Java中的动态追踪工具。在公司内部的JavaEE性能检测框架中，我们使用了asm做字节码注入来做线上性能的监测，沿着这个思路，如果要做到动态追踪应该是需要做字节码注入的，但是额外的一点是需要动态加载字节码替换掉原有的类的。此外，性能监测框架是需要耦合到业务...
Btrace 原理分析
王鹏亮 的专栏
06-29 7412
Btrace是由sundararajan在2009年6月开发的一个开源项目，是一种动态跟踪分析一个运行中的Java应用程序的工具。 BTrace是一个为Java平台开发的安全、动态的追踪工具。BTrace动态地向目标应用程序的字节码注入追踪代码（字节码追踪），这些追踪字节码追踪代码使用Java语言表达，也就是BTrace的脚本
Java应用诊断工具】「BTrace」基本概念和原理的介绍（1）
m0_58476806的博客
07-01 291
Java应用诊断工具】「BTrace」基本概念和原理的介绍（1） 系列文章 「BTrace」基本概念和初步介绍（1） 「BTrace」安装介绍和使用原理（2）- 未完成 「BTrace」实战代码进行调试使用（3）- 未完成 「BTrace」运行时异常原因分析（4）- 未完成 背景说明（痛点分析） 线上遇到了问题？ 服务上线出问题，想增加打印日志怎么办？ 线上怀疑某个接口慢，想打印接口耗时怎么办？ 线上某个接口报错，想看看调用的参数和谁调用了怎么办？ 线上出错了，想看某个对象的数据怎么办？ 线上出错了，
Btrace的使用
Lucky_mn的专栏
12-18 850
本文主要介绍BTrace的使用
BTrace 初探
weixin_30545285的博客
08-05 168
BTrace 是一款java诊断工具,在解决现场问题的时候非常有用。 今天使用的时候碰到几个坑,先记录一下. 下载下来以后直接运行报错 root@iZ2ze89756yjbvq7le6obdZ:~/btrace-bin-1.3.11/bin# ./btrace 6582 /root/testBtrace.java Exception in thread "main" java.lang.NoCl...
java BTrace-代码追踪
Code-lover's Learning Notes
03-02 2312
btrace学习一--安装btrace 最近公司里为了监控线上的类，方法的执行时间，结果等用到了这个开源的小工具，自己也学习了下，感觉比较简单，但是还是挺实用的。 这里做个学习笔记。   1.首先到网上下个Btrace包吧，官方网址是：http://kenai.com/projects/btrace btrace不用怎么安装，下下来之后解压就可以直接使用了。windo
206套成品网站源码打包下载
你可以通过分析和修改这些源码来学习不同语言的编程技巧、网站架构设计以及如何与数据库交互。同时，对于快速搭建网站，可以直接使用这些成熟的设计模板，减少从零开始开发的工作量。但请注意，使用他人源码时需尊重...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值