用户定制化torch.autograd.Function以及使用tensorboard可视化分析

最新推荐文章于 2024-06-06 19:50:14 发布
最新推荐文章于 2024-06-06 19:50:14 发布
阅读量372 收藏
点赞数
分类专栏： Tensorboard在Pytorch中使用的学习笔记 零基础学习SSD网络PyTorch实现 Deep-Learning-with-PyTorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46653437/article/details/111413446
版权

代码展示:

import matplotlib.pyplot as plt
import numpy as np 
import torch
from torch import nn
from torch.autograd import Function
from torch.autograd import gradcheck
import random
import os
from torch.utils.tensorboard import SummaryWriter
# from tensorboardX import SummaryWriter
writer = SummaryWriter()
seed = 20200910
os.environ['PYTHONHASHSEED'] = str(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU.
np.random.seed(seed)  # Numpy module.
random.seed(seed)  # Python random module.
torch.manual_seed(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True


class LinearFunction4cxq(Function):
    @staticmethod
    def forward(ctx, input, weight, bias=None):
        # ctx.save_for_backward只能保存张量tensor,不能保存其他类型否则报错
        # TypeError: save_for_backward can only save variables, but argument 3 is of type str
        # 如果希望保存其他数据类型可以使用这种方式: ctx.constant = constant
        # 然后再backward()方法中取回这个数据,使用这种方式: ctx.constant
        ctx.save_for_backward(input, weight, bias)  # (20, 20) (30, 20) (30,)
        output = input.mm(weight.t())  # (20, 30)
        if bias is not None:
            output += bias.unsqueeze(0).expand_as(output)  # (20, 30) 
        return output  # (20, 30)
    @staticmethod
    def backward(ctx, grad_output):  # (20, 30)
        input, weight, bias = ctx.saved_tensors  # (20, 20) (30, 20) (30,)
        grad_input = grad_weight = grad_bias = None
        if ctx.needs_input_grad[0]:
            grad_input = grad_output.mm(weight)  # (20, 20)
        if ctx.needs_input_grad[1]:
            grad_weight = grad_output.t().mm(input)  # (30, 20)
        if bias is not None and ctx.needs_input_grad[2]:
            grad_bias = grad_output.sum(0)  # (30,)
            # grad_bias = grad_output.sum(0).squeeze(0)
        return grad_input, grad_weight, grad_bias  # (20, 20) # (30, 20) # (30,)

linear4ccxxqq = LinearFunction4cxq.apply
class LinearModule4cxq(nn.Module):
    def __init__(self, input_features, output_features, bias=True):
        super(LinearModule4cxq, self).__init__()
        self.input_features = input_features
        self.output_features = output_features
        self.weight = nn.Parameter(torch.Tensor(output_features, input_features))
        if bias:
            self.bias = nn.Parameter(torch.Tensor(output_features))
        else:
            self.register_parameter('bias', None)  # 这行代码会将self.bias设置成None
        self.weight.data.uniform_(-0.1, 0.1)
        # print('林麻子self.bias',self.bias,'#########')
        # print('林麻子bias',bias,'#########')
        if bias:
            self.bias.data.uniform_(-0.1, 0.1)
    def forward(self, input):
        # return LinearFunction4cxq.apply(input, self.weight, self.bias)
        return linear4ccxxqq(input, self.weight, self.bias)  # 这两行语句效果相同
    def extra_repr(self):
        '''该方法用于打印信息'''
        return 'in_features={}, out_features={}, bias={}'.format(
            self.input_features, self.output_features, self.bias is not None
        )

if __name__ == "__main__":
    # pass
    linear4cxq = LinearFunction4cxq.apply
    input_cxq = (
        torch.randn(20,20,dtype=torch.double,requires_grad=True), 
        torch.randn(30,20,dtype=torch.double,requires_grad=True),
        # torch.randn(30,dtype=torch.double,requires_grad=True)  # bias可用可不用,建议这行代码用上,用以检查bias的自动梯度
    )
    test = gradcheck(linear4cxq, input_cxq, eps=1e-6, atol=1e-4)
    print('\n测试是否通过:',test)
    print('\n')
    print('开始创建LinearModule4cxq'.center(80,'-'))
    model = LinearModule4cxq(input_features=1, output_features=1, bias=True)  # True # False
    print(model)
    model.cuda()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    # 模拟华氏度与摄氏度之间的转换  
    # Fahrenheit = 32 + 1.8 * Celsius
    model.train()
    cost = torch.nn.MSELoss()


    # 将图结构添加到tensorboard中,来进行可视化
    Celsius = torch.randn(1,1,dtype=torch.float).cuda()
    writer.add_graph(model, input_to_model=Celsius, verbose=False)


    epochs = 100001  # 100001
    print('\n')
    print('开始训练LinearModule4cxq'.center(80,'-'))
    list4delta = list()
    list4epoch = list()
    for epoch in range(epochs):
        with torch.no_grad():
            Celsius = torch.randn(1,1,dtype=torch.float).cuda()
            Fahrenheit = 32.0 + 1.8 * Celsius
            Fahrenheit = Fahrenheit.cuda()

        # Celsius = torch.randn(1,1,dtype=torch.float,requires_grad=False).cuda()  # requires_grad=False  True
        # Fahrenheit = 32.0 + 1.8 * Celsius
        # Fahrenheit = Fahrenheit.cuda()        # requires_grad=False

        output = model(Celsius)
        loss = cost(output, Fahrenheit)
        if epoch % 1000 == 0:  # if epoch % 1000 == 0:
            writer.add_scalar('Loss/train', loss, epoch)
            list4delta += [(output - Fahrenheit).detach().item()]
            list4epoch += [epoch]

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if epoch % 5000 == 0:
            info = '\nepoch:{0:>6}/{1:<6}\t'.format(epoch,epochs)
            for k, v in model.state_dict().items():
                info += str(k)+ ':' + str(v.item()) + '\t'
            print(info)

fig, ax = plt.subplots() 
# ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.plot(list4epoch, list4delta, 'r.-', markersize=8)
ax.set_title("Visualization For My Model's Errors")
# plt.show()
writer.add_figure(
    'matplotlib figure', 
    fig, 
    global_step=None, 
    close=False, 
    walltime=None)


writer.flush()
writer.close()
# tensorboard --logdir=runs

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 779 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> conda activate pytorch_1.7.1_cu102
(pytorch_1.7.1_cu102) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq>  & 'D:\Anaconda3\envs\pytorch_1.7.1_cu102\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2020.12.424452561\pythonFiles\lib\python\debugpy\launcher' '50056' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\test4cxq\test11.py'

测试是否通过: True


------------------------------开始创建LinearModule4cxq------------------------------
LinearModule4cxq(in_features=1, out_features=1, bias=True)


------------------------------开始训练LinearModule4cxq------------------------------

epoch:     0/100001     weight:-0.046415962278842926    bias:0.0799543485045433

epoch:  5000/100001     weight:0.29525384306907654      bias:4.958519458770752

epoch: 10000/100001     weight:0.5240390300750732       bias:9.761096954345703

epoch: 15000/100001     weight:0.7794860005378723       bias:14.521628379821777

epoch: 20000/100001     weight:0.8959959149360657       bias:19.208402633666992

epoch: 25000/100001     weight:1.2659095525741577       bias:23.782440185546875

epoch: 30000/100001     weight:1.5608582496643066       bias:28.086692810058594

epoch: 35000/100001     weight:1.7663363218307495       bias:31.460214614868164

epoch: 40000/100001     weight:1.7999906539916992       bias:31.999900817871094

epoch: 45000/100001     weight:1.7999987602233887       bias:31.999996185302734

epoch: 50000/100001     weight:1.7999999523162842       bias:32.0

epoch: 55000/100001     weight:1.7999999523162842       bias:32.0

epoch: 65000/100001     weight:1.7999999523162842       bias:32.0

epoch: 70000/100001     weight:1.7999999523162842       bias:32.0

epoch: 75000/100001     weight:1.7999999523162842       bias:32.0

epoch: 80000/100001     weight:1.7999999523162842       bias:32.0

epoch: 85000/100001     weight:1.7999999523162842       bias:32.0

epoch: 90000/100001     weight:1.7999999523162842       bias:32.0

epoch: 95000/100001     weight:1.7999999523162842       bias:32.0

epoch:100000/100001     weight:1.7999999523162842       bias:32.0
(pytorch_1.7.1_cu102) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> 
(pytorch_1.7.1_cu102) PS C:\Users\chenxuqi\Desktop\News4cxq\test4cxq> tensorboard --logdir=runs
TensorFlow installation not found - running with reduced feature set.
Serving TensorBoard on localhost; to expose to the network, use a proxy or pass --bind_all
TensorBoard 2.4.0 at http://localhost:6006/ (Press CTRL+C to quit)

tensorboard显示效果截图:
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

代码展示:

import matplotlib.pyplot as plt
import numpy as np 
import torch
from torch import nn
from torch.autograd import Function
import random
import os
seed = 20200910
os.environ['PYTHONHASHSEED'] = str(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)  # if you are using multi-GPU.
np.random.seed(seed)  # Numpy module.
random.seed(seed)  # Python random module.
torch.manual_seed(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True


class LinearFunction4cxq(Function):
    @staticmethod
    def forward(ctx, input, weight, bias=None):
        # ctx.save_for_backward只能保存张量tensor,不能保存其他类型否则报错
        # TypeError: save_for_backward can only save variables, but argument 3 is of type str
        # 如果希望保存其他数据类型可以使用这种方式: ctx.constant = constant
        # 然后再backward()方法中取回这个数据,使用这种方式: ctx.constant
        ctx.save_for_backward(input, weight, bias)  # (20, 20) (30, 20) (30,)
        output = input.mm(weight.t())  # (20, 30)
        if bias is not None:
            output += bias.unsqueeze(0).expand_as(output)  # (20, 30) 
        return output  # (20, 30)
    @staticmethod
    def backward(ctx, grad_output):  # (20, 30)
        input, weight, bias = ctx.saved_tensors  # (20, 20) (30, 20) (30,)
        grad_input = grad_weight = grad_bias = None
        if ctx.needs_input_grad[0]:
            grad_input = grad_output.mm(weight)  # (20, 20)
        if ctx.needs_input_grad[1]:
            grad_weight = grad_output.t().mm(input)  # (30, 20)
        if bias is not None and ctx.needs_input_grad[2]:
            grad_bias = grad_output.sum(0)  # (30,)
            # grad_bias = grad_output.sum(0).squeeze(0)
        return grad_input, grad_weight, grad_bias  # (20, 20) # (30, 20) # (30,)

linear4ccxxqq = LinearFunction4cxq.apply
class LinearModule4cxq(nn.Module):
    def __init__(self, input_features, output_features, bias=True):
        super(LinearModule4cxq, self).__init__()
        self.input_features = input_features
        self.output_features = output_features
        self.weight = nn.Parameter(torch.Tensor(output_features, input_features))
        if bias:
            self.bias = nn.Parameter(torch.Tensor(output_features))
        else:
            self.register_parameter('bias', None)  # 这行代码会将self.bias设置成None
        self.weight.data.uniform_(-0.1, 0.1)
        # print('林麻子self.bias',self.bias,'#########')
        # print('林麻子bias',bias,'#########')
        if bias:
            self.bias.data.uniform_(-0.1, 0.1)
    def forward(self, input):
        # return LinearFunction4cxq.apply(input, self.weight, self.bias)
        return linear4ccxxqq(input, self.weight, self.bias)  # 这两行语句效果相同
    def extra_repr(self):
        '''该方法用于打印信息'''
        return 'in_features={}, out_features={}, bias={}'.format(
            self.input_features, self.output_features, self.bias is not None
        )

if __name__ == "__main__":
    print('开始创建LinearModule4cxq'.center(80,'-'))
    model = LinearModule4cxq(input_features=1, output_features=1, bias=True)  # True # False
    model.cuda()
    optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
    # 模拟华氏度与摄氏度之间的转换  
    # Fahrenheit = 32 + 1.8 * Celsius
    model.train()
    cost = torch.nn.MSELoss()

    Celsius = torch.randn(1,1,dtype=torch.float).cuda()

    epochs = 100001  # 100001
    print('\n')
    print('开始训练LinearModule4cxq'.center(80,'-'))
    list4delta = list()
    list4epoch = list()
    for epoch in range(epochs):
        with torch.no_grad():
            Celsius = torch.randn(10,1,dtype=torch.float).cuda()
            Fahrenheit = 32.0 + 1.8 * Celsius
            Fahrenheit = Fahrenheit.cuda()

        # Celsius = torch.randn(1,1,dtype=torch.float,requires_grad=False).cuda()  # requires_grad=False  True
        # Fahrenheit = 32.0 + 1.8 * Celsius
        # Fahrenheit = Fahrenheit.cuda()        # requires_grad=False

        output = model(Celsius)
        loss = cost(output, Fahrenheit)
        if epoch % 1000 == 0:  # if epoch % 1000 == 0:
            list4delta.append(torch.pow((output - Fahrenheit).detach(),2).sum().item())
            list4epoch.append(epoch)

        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        if epoch % 5000 == 0:
            info = '\nepoch:{0:>6}/{1:<6}\t'.format(epoch,epochs)
            for k, v in model.state_dict().items():
                info += str(k)+ ':' + str(v.item()) + '\t'
            print(info)

fig, ax = plt.subplots() 
# ax.plot(10*np.random.randn(100),10*np.random.randn(100),'o')
ax.plot(list4epoch, list4delta, 'r.-', markersize=8)
ax.set_title("Visualization For My Model's Errors")
plt.show()

控制台输出结果:

Windows PowerShell
版权所有 (C) Microsoft Corporation。保留所有权利。

尝试新的跨平台 PowerShell https://aka.ms/pscore6

加载个人及系统配置文件用了 856 毫秒。
(base) PS C:\Users\chenxuqi\Desktop\News4cxq\测试学习率调度器> conda activate pytorch_1.7.1_cu102
(pytorch_1.7.1_cu102) PS C:\Users\chenxuqi\Desktop\News4cxq\测试学习率调度器>  & 'D:\Anaconda3\envs\pytorch_1.7.1_cu102\python.exe' 'c:\Users\chenxuqi\.vscode\extensions\ms-python.python-2021.1.502429796\pythonFiles\lib\python\debugpy\launcher' '64829' '--' 'c:\Users\chenxuqi\Desktop\News4cxq\测试学习率调度器\test02.py'       
------------------------------开始创建LinearModule4cxq------------------------------


------------------------------开始训练LinearModule4cxq------------------------------

epoch:     0/100001     weight:0.09733616560697556      bias:0.09860190004110336        

epoch:  5000/100001     weight:0.7290825247764587       bias:4.986055850982666  

epoch: 10000/100001     weight:1.1657215356826782       bias:9.796563148498535  

epoch: 15000/100001     weight:1.4271074533462524       bias:14.562826156616211 

epoch: 20000/100001     weight:1.6228671073913574       bias:19.261140823364258 

epoch: 25000/100001     weight:1.715320348739624        bias:23.83855438232422

epoch: 30000/100001     weight:1.768678903579712        bias:28.146183013916016

epoch: 35000/100001     weight:1.8001339435577393       bias:31.49368667602539

epoch: 40000/100001     weight:1.7999986410140991       bias:31.999900817871094

epoch: 45000/100001     weight:1.800002098083496        bias:31.99999237060547

epoch: 50000/100001     weight:1.7999999523162842       bias:32.0

epoch: 55000/100001     weight:1.7999999523162842       bias:32.0

epoch: 60000/100001     weight:1.7999999523162842       bias:32.0

epoch: 65000/100001     weight:1.7999999523162842       bias:32.0

epoch: 70000/100001     weight:1.7999999523162842       bias:32.0

epoch: 75000/100001     weight:1.7999999523162842       bias:32.0

epoch: 80000/100001     weight:1.7999999523162842       bias:32.0

epoch: 85000/100001     weight:1.7999999523162842       bias:32.0

epoch: 90000/100001     weight:1.7999999523162842       bias:32.0

epoch: 95000/100001     weight:1.7999999523162842       bias:32.0

epoch:100000/100001     weight:1.7999999523162842       bias:32.0

运行结果展示:

在这里插入图片描述
在这里插入图片描述

敲代码的小风
关注
专栏目录
神经网络可视化原理与代码实战案例讲解
AI天才研究院
07-08 894
神经网络可视化原理与代码实战案例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：神经网络可视化,可解释性,深度学习,模型理解,梯度流可视 1.背景介绍
【YOLOv8十万长文优化】独家魔改优化技巧+附20余个源码手把手教程
最新发布
cv君的博客
08-01 2万+
【YOLOv8十万长文全解】v8 v9通用。独家魔改优化技巧+附20余个源码手把手教程; Hello，大家好，我是cv君，最近开始在空闲之余，经常更新文章啦！除目标检测、分类、分隔、姿态估计等任务外，还会涵盖图像增强领域，如超分辨率、画质增强、降噪、夜视增强、去雾去雨、ISP、海思高通成像ISP等、AI-ISP、还会有多模态、文本nlp领域、视觉语言大模型、lora、chatgpt等理论与实践文章更新，更新将变成一周2-3更，一个月争取10篇，重回创作巅峰
小武与tfpyth的碰撞----torch.autograd.Function进阶版本
weixin_37721058的博客
07-24 1985
由于工作需要，目前需要融合两个模型，但是两个模型的框架完全不一样，一个是pytorch一个是keras。头疼。 目前有两个确认可行的方案。 方案一：将其中一者的模型转化为另一框架，然后进行融合。遇到的问题在于两个模型都有预训练模型，所以如果这样的转换，模型可以复现，但是训练的参数怎么办呢？难道又要重新训练吗？ 方案二：将一种一者的输出结果保存为h5，因为两个模型只是作为特征提取，而本身并不参与新模...
pytorch autograd: torch.nn.Function
haoxue2011的博客
03-23 169
https://pytorch.org/docs/stable/notes/extending.html # Inherit from Function class LinearFunction(Function): # Note that both forward and backward are @staticmethods @staticmethod # bias ...
利用torch.autograd.Function自定义层的forward和backward
winycg的博客
02-20 9315
当我们在Pytorch中想自定义某一层的梯度计算时，可以利用torch.autograd.Function来封装一个class，此时可以我们可以自己在backward方法中自定求解梯度的方法，也适用于不可导函数的backward计算。 这个函数的源代码可以从如下链接获取： https://pytorch.org/docs/stable/_modules/torch/autograd/functio...
torch.autograd.Function
weixin_36670529的博客
05-13 2606
对Function的直观理解 Function与Module的差异与应用场景 写一个简单的ReLU Function 1.对Function的直观理解 在之前的介绍中，我们知道，Pytorch是利用Variable与Function来构建计算图的。回顾下Variable，Variable就像是计算图中的节点，保存计算结果（包括前向传播的激活值，反向传播的梯度），而Function就像计算图中...
AutoDL使用tensorboard
qq_46684028的博客
10-03 2470
AutoDL中使用tensorboard的详细过程
[pytorch] torch.onnx.export 使用及自定义层构建
头狼博客
07-14 1459
构建pytorch转onnx的自定义层
图的可视化分析方法
图可视化分析已经在众多领域中得到广泛应用，如社交网络分析、生物信息学、金融市场分析等。通过将图数据可视化，人们可以更直观地理解和解释复杂的关系，发现隐藏在数据中的有趣的特性，从而提供有益的见解和决策...
AutoDL使用教程：1）创建实例 2）配置环境+上传数据 3）PyCharm2021.3专业版下载安装与远程连接完整步骤 4）实时查看tensorboard曲线情况
热门推荐
孟孟单单的博客
09-28 14万+
AutoDL使用教程：1）创建实例 2）配置环境+上传数据 3）PyCharm2021.3专业版远程连接
在autodl 中使用tensorboard功能
weixin_44563655的博客
03-16 1284
在autodl中快速打开tensorboard
pytorch: 常见bug与debug
Keith
08-09 8827
本博文用来记录自己的 pytorch 踩坑过程，虽然 pytorch 命令式编程，声称容易 debug，可是 代码给出的错误提示可是令人相当头疼，所以在本文中记录一下在编写 pytorch 代码过程中碰到的 坑，和如何 填坑。 TypeError: ××× received an invalid combination of arguments 如果检查过了数据类型的正确性之后（float32,
pytorch-errors
ENJOY-NOW
06-12 1万+
0.RuntimeError: save_for_backward can only save input or output tensors, but argument 0 doesn't satisfy this conditionWhen custom Funciton &amp; Module, and the module need backward, the input should ...
如何在autoDL上使用TensorBoard？
qq_34425255的博客
06-06 430
AutoDL帮助文档
解决方案RuntimeError: save_for_backward can only save input or output tensors, but argument 0
cchangcs
10-10 3551
本篇博客主要解决Torch在运行过程中出现的如下问题： Traceback (most recent call last): File "D:/Python27/Lib/site-packages/django/bin/pytorchlearn/name_class.py", line 133, in &lt;module&gt; output, next_hidden = rnn...
180511 tensorboard可视化详细解读（附代码，更新ing）
专注机器学习之路
05-11 9445
以下内容，来自书籍Tensorflow实战Google深度学习框架笔记整理，请支持正版购买学习！ 1+2+3所有代码 1.命名空间与Tensorboard图上的节点（图结构） 实线边表示数据传输，边上箭头表达了数据传输的方向,如：layer1→layer2。 双向箭头(tf=1.0)或黄色箭头（tf=1.4）表示修改关联，如：train_step会修改记录训练连迭代轮数的Variabl...
TensorBoard 简介及使用流程
weili_的博客
08-19 2105
一、TensorBoard 简介及使用流程 1、TensoBoard 简介 TensorBoard 和 TensorFLow 程序跑在不同的进程中，TensorBoard 会自动读取最新的 TensorFlow 日志文件，并呈现当前 TensorFLow 程序运行的最新状态。 2、TensorBoard 使用流程 添加记录节点：tf.summary.scalar/image/hi...
torch.autograd.Function魔咒：内部无法进行任何autograd操作
乐趣是人为构建的，构建是一种莫大的乐趣。
11-27 515
魔咒（bug）
torch使用tensorboard记录训练、验证过程，并对数据进行可视化
weixin_44153656的博客
01-15 1892
更详细内容可参考 详解PyTorch项目使用TensorboardX进行训练可视化 # 首先，导入包，创建用于记录数据的变量 from torch.utils.tensorboard import SummaryWriter writer = SummaryWriter() # 记录模型训练（train）、验证（val）过程的标量信息，如loss、准确率等 writer.add_scalar() # 查看模型结构 writer.add_graph(model) # 用 PCA 主成分分析方法将高维数据
基于torch.autograd.Function，实现一个torch.nn.linear功能
07-15
好的，以下是基于`torch.autograd.Function`实现`torch.nn.Linear`功能的示例代码： ```python import torch from torch.autograd import Function class LinearFunction(Function): @staticmethod def forward...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值