PyTorch神经网络的可视化踩坑

已于 2022-05-25 14:51:30 修改
阅读量1.9k 收藏 23
点赞数 5
分类专栏： 编码经验 文章标签： pytorch 神经网络 深度学习
于 2022-05-25 14:50:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/okfang616/article/details/124964961
版权

文章目录

1. 网络结构可视化

参考资料: https://www.freesion.com/article/340667237/

1.1 使用netron可视化工具(对PyTorch的支持较差)

GitHub: https://github.com/lutzroeder/netron

不同平台的安装包下载地址：https://github.com/lutzroeder/netron/releases/tag/v4.9.5。

（1）可以在macOS、Linux、Windows等主流操作系统上运行，还有网页版(http://netron.app)。

（2）支持多种主流的深度学习框架，比如ONNX、Keras、Tensorflow Lite、Caffe/Caffe2、Darknet、MNN、ncnn、PaddlePaddle等；对于Tensorflow、Pytorch等框架正在适配中，有测试版本可用。

1.1.1 常规思路: 将模型导出成.pth文件(坑)

  1. 首先将 PyTorch 网络保存成 .pth 文件
import torch
torch.save(net, "my_model.pth") # 这里的net即为你的网络
  1. 使用 netron 导入 my_model.pth 后即可看到成品

坑: 光有结构, 没有标识箭头

1.1.2 曲线救国: 将模型导出成 .onnx 文件(坑)

  1. 首先将 PyTorch 网络保存成 .onnx 文件
torch.onnx.export(net, train_x, "res.onnx", export_params=True, verbose=True, training=False)
  1. 使用 netron 导入 res.onnx 后即可看到成品

坑: 结构有, 箭头有, 标识错误

1.1.3 天降猛男: 将模型导出成 torchscript (好用)

  1. 导出成 .pt 文件, 下面两个都可以用, 都试一下.
traced_script_module = torch.jit.trace(net,train_x)
# 保存模型
traced_script_module.save("model-script.pt")

traced_script_module = torch.jit.script(net)

# 保存模型
traced_script_module.save("model-script2.pt")
  1. 使用 netron 导入 model-script.pt 或 model-script2.pt 后即可看到成品

1.2 使用 graphviz

先去 graphviz 官网 下载安装包安装

然后安装这两个依赖包：

pip install graphviz  # 安装graphviz
pip install git+https://github.com/szagoruyko/pytorchviz  # 通过git安装torchviz
  1. 加载并运行一个模型
import torch
from torchvision.models import AlexNet
from torchviz import make_dot
 
x=torch.rand(8,3,256,512)
model=AlexNet()
y=model(x)
  1. 调用make_dot()函数构造图对象(三种方式)
g = make_dot(y)
g = make_dot(y, params=dict(model.named_parameters()))
g = make_dot(y, params=dict(list(model.named_parameters()) + [('x', x)]))
  1. 保存模型，以PDF格式保存(两种方式)
# g.view() # 会生成一个 Digraph.gv.pdf 的PDF文件 (文件名固定)
g.render('espnet_model', view=False) # 会自动保存为一个 espnet.pdf，第二个参数为True,则会自动打开该PDF文件，为False则不打开

2. 神经网络图可视化

参考资料: https://zhuanlan.zhihu.com/p/148896017

2.1 使用 dotnets 脚本

GitHub: https://github.com/martisak/dotnets

# Inspired by
# https://tgmstat.wordpress.com/2013/06/12/draw-neural-network-diagrams-graphviz/

# UPDATE HISTORY
# April, 2018 - 2to3 - Madhavun Candadai

# layers = [3, 5, 5, 5, 2]
layers = [3, 6, 6, 2]
hidden_len = 2

layers_str = ["Input"] + ["Hidden"] * hidden_len   + ["Output"]
layers_col = ["none"] + ["none"] * hidden_len   + ["none"]
layers_fill = ["black"] + ["gray"] * hidden_len  + ["black"]

penwidth = 15
font = "Cambria 10"

print("digraph G {")
# print("\tfontname = \"{}\"".format(font))
print("\trankdir=LR")
print("\tsplines=line")
print("\tnodesep=.08;")
print("\tranksep=1;")
print("\tedge [color=black, arrowsize=.5];")
print("\tnode [fixedsize=true,label=\"\",style=filled," + \
    "color=none,fillcolor=gray,shape=circle]\n")

# Clusters
for i in range(0, len(layers)):
    print(("\tsubgraph cluster_{} {{".format(i)))
    print(("\t\tcolor={};".format(layers_col[i])))
    print(("\t\tnode [style=filled, color=white, penwidth={},"
          "fillcolor={} shape=circle];".format(
              penwidth,
              layers_fill[i])))

    print(("\t\t"), end=' ')

    for a in range(layers[i]):
        print("l{}{} ".format(i + 1, a), end=' ')

    print(";")
    print(("\t\tlabel = {};".format(layers_str[i])))

    print("\t}\n")

# Nodes
for i in range(1, len(layers)):
    for a in range(layers[i - 1]):
        for b in range(layers[i]):
            print("\tl{}{} -> l{}{}".format(i, a, i + 1, b))

print("}")

生成 pdf 的命令:

python dotnets.py | dot -Tpdf > test.pdf

2.2 使用在线工具调

http://alexlenail.me/

2.3 MATLAB (仍在坑中)

需要在PyTorch上将神经网络模型转成.onnx文件
然后再用matlab导入
遂使用此脚本

modelfile = 'res.onnx';
classes = ["neg" "pos"];
net = importONNXNetwork(modelfile,'OutputLayerType','classification','Classes',classes)

然而报错

错误使用 importONNXNetwork (第 47 行)
importONNXNetwork 需要 Deep Learning Toolbox Converter for ONNX Model Format 支持包。要安装此支持包，请使用附加功能资源管理
器。

点击下载时，提示登录邮箱(我用的matlab是破解版)。没办法，抱着试一试的心态注册了一个号，结果是顺利将额外的包安上了。

再次输入代码,报错:

错误使用 nnet.internal.cnn.onnx.translateONNX>createInputLayer (第 440 行)
Only image inputs are supported for import.

出错 nnet.internal.cnn.onnx.translateONNX (第 58 行)
        inputLayer = createInputLayer(thisGraph, inputsWithoutInitializers{i}, UserImageInputSize);

出错 nnet.internal.cnn.onnx.importONNXNetwork (第 11 行)
[LayersOrGraph, translationIssues]      = nnet.internal.cnn.onnx.translateONNX(modelProto, OutputLayerType,
UserImageInputSize, true);

出错 importONNXNetwork (第 52 行)
Network = nnet.internal.cnn.onnx.importONNXNetwork(modelfile, varargin{:});

https://ww2.mathworks.cn/matlabcentral/answers/501080-error-loading-onnx-model-exported-from-pytorch-to-matlab

卒

P.S. 听说可以将 PyTorch 转换成 MATLAB代码 ↓

https://github.com/albanie/mcnPyTorch

pytorch中tensorboardX可视化网络使用踩坑
weixin_42821501的博客
02-22 1933
pytorch中要使用tensorboard需要以下环境： 1.python 3.6+ 2.Pytorch 0.4.0+ 3.tensorboardX: pip install tensorboardX、pip install tensorflow windows下要实现命令行操作tensorboard需要提前配置好环境变量，如果使用anaconda一般需要在系统变量的path中添 加C:\U...
戴尔游匣g15 5515笔记本电脑g3060锐龙cpu版装入显卡驱动配置pytorch环境踩坑总结
小姑仔的博客
08-22 7118
装入ubuntu21.04的对应系统 然后装入370.63.04驱动 会报以下的错误 [SOLVED] Failed to start Load/Save Screen Backlight Brightness 报错内容以及解决方案 [SOLVED] Failed to start Load/Save Screen Backlight Brightness 添加下列内容到/etc/default/grub GRUB_CMDLINE_LINUX_DEFAULT=“quiet acpi_backlight=ve
MATLAB强化学习工具箱（十四）导入策略和值函数表示
wangyifan123456zz的博客
11-08 2049
导入策略和值函数表示导入策略和值函数表示导入行动者和评论者在图像观察中的应用 导入策略和值函数表示 要创建用于强化学习的函数逼近器，您可以使用Deep Learning Toolbox™网络导入功能导入预训练的深度神经网络或深度神经网络层架构。您可以导入： 开放式神经网络交换（ONNX™）模型，需要用于ONNX模型格式的深度学习工具箱转换器支持包软件。 有关更多信息，请importONNXLayers。 TensorFlow™-Keras网络，需要用于TensorFlow-Keras模型的深度学习工具箱导
PyTorch 神经网络模型可视化（Netron）
leoatliang的博客
07-04 4741
PyTorch 神经网络模型可视化（Netron）
MATLAB 2024b深度学习，图神经网络（GNN）
最新发布
weixin_xiao5kou4chang6kai4的博客
03-25 885
1、MATLAB Deep Learning Toolbox概览2、实时脚本（Live Script）与交互控件（Control）功能介绍与演示3、批量大数据导入及Datastore类函数功能介绍与演示4、数据清洗（Data Cleaning）功能介绍与演示5、深度网络设计器（Deep Network Designer）功能介绍与演示6、实验管理器（Experiment Manager）功能介绍与演示7、MATLAB Deep Learning Model Hub简介。
可视化torch的神经网络
qq_56753958的博客
11-03 84
在pycharm环境内，在运行DQN过程中，进行数据的查看。使用add_scalar记录每步的过程值，取名为1。1、查看奖励值和步数的曲线。
pytorch 神经网络特征可视化
m0_61899108的博客
10-15 3739
网上收集整理的有关特征图可视化的方式与链接，包括有特征图可视化、卷积核可视化、类激活图可视化、注意力可视化、工具。文中主要介绍了特征可视化以及类激活图可视化。若有需要可查看正文，附有github代码链接。
pytorch模型网络可视化画图工具合集(内附实现代码)
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-26 8168
在PyTorch中，有几种不同的工具可以用于网络结构的可视化。下面将以ResNet-18为例，展示如何使用常用的PyTorch画图工具进行网络结构的可视化。
Torch网络结构/训练过程可视化
Vertira的博客
10-14 2280
Torch网络结构/训练过程可视化
【深度学习实战】---TensorBoard网络可视化
sir_TI的博客
05-26 4292
【深度学习实战】—TensorBoard网络可视化 前记 为了能够更加深层次的理解我们的网络结构，不必要是画一份简简单单的网络的草图（如【深度学习实战】迈出第一步------编写第一个神经网络），那么我们可以借助TensorFlow上面的可视化工具TensorBoard来可视化我们网络结构。只能说用了一次这样的工具，你会发现，你对网络中数据的流动会更加的清楚，上面还有一系列的维度表示，可以清楚的让...
pytorch应用（入门2） 一维线性回归
CSDN_YJX的博客
12-30 849
书中作者的代码不知道是哪年的，自己敲的时候没报错，我敲的时候就报错了，根据报错信息来看，应该是版本不一样导致的语法修改。在做one classification的时候，训练集和测试集的样本分布是不一样的，尤其需要注意这一点。看到这里，如果代码不太懂的可能有点懵，不过深度学习的代码就是这样，分几个层次来构建一个完整的模型。大家注意看我的代码都是由哪几部分组成的，构建深度学习项目其实就是大概的几部分了。在代码实现的过程中我又又报错了，然后我心平气和地去找改错的博文，两种方式，各有各的不同之处。
用于ONNX模型格式的深度学习工具箱转换器：在MATLAB中导入和导出ONNX:trade_mark:模型，以与其他深度学习框架互操作-matlab开发
05-28
在MATLAB内导入和导出ONNX:trade_mark:（开放神经网络交换）模型，以与其他深度学习框架互操作。 ONNX使模型可以在一个框架中进行训练，然后转移到另一个框架中进行推理。 从操作系统或在MATLAB中打开onnxconverter.mlpkginstall文件将启动您所拥有版本的安装过程。 该mlpkginstall文件可用于R2018a及更高版本。 用法示例： %%导出为ONNX模型格式净=挤压％导出的预训练模型filename ='squeezenet.onnx'; exportONNXNetwork（net，文件名）; %%导入导出的网络net2 = importONNXNetwork（'squeezenet.onnx'，'OutputLayerType'，'classification'）; ％在随机输入图像上比较两个网络的预测img = rand（net.Layers（1）.I
深度学习工具包 DeepLearningToolbox
10-15
深度学习工具包 Deprecation notice. ----- This toolbox is outdated and no longer maintained. There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/) I would suggest you use one of the tools mentioned above rather than use this toolbox. Best, Rasmus. DeepLearnToolbox ================ A Matlab toolbox for Deep Learning. Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data. It is inspired by the human brain's apparent deep (layered, hierarchical) architecture. A good overview of the theory of Deep Learning theory is [Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf) For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng. * [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007) * [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010) * [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011) If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284) ``` @MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012", } ``` Contact: rasmusbergpalm at gmail dot com Directories included in the toolbox ----------------------------------- `NN/` - A library for Feedforward Backpropagation Neural Networks `CNN/` - A library for Convolutional Neural Networks `DBN/` - A library for Deep Belief Networks `SAE/` - A library for Stacked Auto-Encoders `CAE/` - A library for Convolutional Auto-Encoders `util/` - Utility functions used by the libraries `data/` - Data used by the examples `tests/` - unit tests to verify toolbox is working For references on each library check REFS.md Setup ----- 1. Download. 2. addpath(genpath('DeepLearnToolbox')); Example: Deep Belief Network --------------------- ```matlab function test_example_DBN load mnist_uint8; train_x = double(train_x) / 255; test_x = double(test_x) / 255; train_y = double(train_y); test_y = double(test_y); %% ex1 train a 100 hidden unit RBM and visualize its weights rand('state',0) dbn.sizes = [100]; opts.numepochs = 1; opts.batchsize = 100; opts.momentum = 0; opts.alpha = 1; dbn = dbnsetup(dbn, train_x, opts); dbn = dbntrain(dbn, train_x, opts); figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights %% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NN rand('state',0) %train dbn dbn.sizes = [100 100]; opts.numepochs = 1; opts.batchsize = 100; opts.momentum = 0; opts.alpha = 1; dbn = dbnsetup(dbn, train_x, opts); dbn = dbntrain(dbn, train_x, opts); %unfold dbn to nn nn = dbnunfoldtonn(dbn, 10); nn.activation_function = 'sigm'; %train nn opts.numepochs = 1; opts.batchsize = 100; nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.10, 'Too big error'); ``` Example: Stacked Auto-Encoders --------------------- ```matlab function test_example_SAE load mnist_uint8; train_x = double(train_x)/255; test_x = double(test_x)/255; train_y = double(train_y); test_y = double(test_y); %% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN % Setup and train a stacked denoising autoencoder (SDAE) rand('state',0) sae = saesetup([784 100]); sae.ae{1}.activation_function = 'sigm'; sae.ae{1}.learningRate = 1; sae.ae{1}.inputZeroMaskedFraction = 0.5; opts.numepochs = 1; opts.batchsize = 100; sae = saetrain(sae, train_x, opts); visualize(sae.ae{1}.W{1}(:,2:end)') % Use the SDAE to initialize a FFNN nn = nnsetup([784 100 10]); nn.activation_function = 'sigm'; nn.learningRate = 1; nn.W{1} = sae.ae{1}.W{1}; % Train the FFNN opts.numepochs = 1; opts.batchsize = 100; nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.16, 'Too big error'); ``` Example: Convolutional Neural Nets --------------------- ```matlab function test_example_CNN load mnist_uint8; train_x = double(reshape(train_x',28,28,60000))/255; test_x = double(reshape(test_x',28,28,10000))/255; train_y = double(train_y'); test_y = double(test_y'); %% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% error rand('state',0) cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer }; cnn = cnnsetup(cnn, train_x, train_y); opts.alpha = 1; opts.batchsize = 50; opts.numepochs = 1; cnn = cnntrain(cnn, train_x, train_y, opts); [er, bad] = cnntest(cnn, test_x, test_y); %plot mean squared error figure; plot(cnn.rL); assert(er<0.12, 'Too big error'); ``` Example: Neural Networks --------------------- ```matlab function test_example_NN load mnist_uint8; train_x = double(train_x) / 255; test_x = double(test_x) / 255; train_y = double(train_y); test_y = double(test_y); % normalize [train_x, mu, sigma] = zscore(train_x); test_x = normalize(test_x, mu, sigma); %% ex1 vanilla neural net rand('state',0) nn = nnsetup([784 100 10]); opts.numepochs = 1; % Number of full sweeps through data opts.batchsize = 100; % Take a mean gradient step over this many samples [nn, L] = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.08, 'Too big error'); %% ex2 neural net with L2 weight decay rand('state',0) nn = nnsetup([784 100 10]); nn.weightPenaltyL2 = 1e-4; % L2 weight decay opts.numepochs = 1; % Number of full sweeps through data opts.batchsize = 100; % Take a mean gradient step over this many samples nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.1, 'Too big error'); %% ex3 neural net with dropout rand('state',0) nn = nnsetup([784 100 10]); nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through data opts.batchsize = 100; % Take a mean gradient step over this many samples nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.1, 'Too big error'); %% ex4 neural net with sigmoid activation function rand('state',0) nn = nnsetup([784 100 10]); nn.activation_function = 'sigm'; % Sigmoid activation function nn.learningRate = 1; % Sigm require a lower learning rate opts.numepochs = 1; % Number of full sweeps through data opts.batchsize = 100; % Take a mean gradient step over this many samples nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.1, 'Too big error'); %% ex5 plotting functionality rand('state',0) nn = nnsetup([784 20 10]); opts.numepochs = 5; % Number of full sweeps through data nn.output = 'softmax'; % use softmax output opts.batchsize = 1000; % Take a mean gradient step over this many samples opts.plot = 1; % enable plotting nn = nntrain(nn, train_x, train_y, opts); [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.1, 'Too big error'); %% ex6 neural net with sigmoid activation and plotting of validation and training error % split training data into training and validation data vx = train_x(1:10000,:); tx = train_x(10001:end,:); vy = train_y(1:10000,:); ty = train_y(10001:end,:); rand('state',0) nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax output opts.numepochs = 5; % Number of full sweeps through data opts.batchsize = 1000; % Take a mean gradient step over this many samples opts.plot = 1; % enable plotting nn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally) [er, bad] = nntest(nn, test_x, test_y); assert(er < 0.1, 'Too big error'); ``` [![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")
GAN_GaN_ganmnist踩坑_GANpython_
09-30
8. **训练过程的可视化**：可能使用TensorBoard或者其他可视化工具来监控训练过程，如损失曲线和生成图像的演化。 9. **踩坑与解决方法**：项目中遇到的问题可能是数据预处理不当、模型训练不稳定、过拟合或欠拟合...
pytorch神经网络可视化的方法
qq_51639530的博客
05-18 1734
pytorch网络的两种可视化方法
PyTorch下的可视化工具（网络结构/训练过程可视化）
小白学视觉
07-21 5639
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者 | 锦恢@知乎来源 | https://zhuanlan.zhihu.com/p/220403674编辑 | 极市平台本文仅作学术分享，如有侵权请联系删除。导读本文大致想说一下pytorch下的网络结构可视化和训练过程可视化。一、网络结构的可视化我们训练神经网络时，除了随着step或者epoch观察损失函数的走势，...
Graph Attention Pytorch
coolsunxu的博客
03-12 742
import torch import torch.nn as nn class BatchMultiHeadGraphAttention(nn.Module): # 多头图注意力模型 def __init__(self, n_head, f_in, f_out, attn_dropout, bias=True): super(BatchMultiHeadGraphAttention,...
关于torch-points3d可视化的问题--安装环境
baidu_40840693的博客
04-26 839
输出的ply无法在cloudcompare上打开 我切换成pcd进行打开 # python3.8 # -*- coding: utf-8 -*- # --- # @Software: PyCharm # @File: vis_ply.py # @Author: --- # @Institution: BeiJing, China # @E-mail: lgdyangninghua@163.com # @Site: # @Time: 4月 26, 2021 # --- import os impor
【pytorch】搭建带有注意力机制的图像分类网络，实现空间注意力
种一棵树最好的时间是十年前，其次是现在
03-03 1767
注意力机制是深度学习中重要的技术之一，它可以使模型在处理序列数据时，更加集中地关注重要的部分，从而提高模型的性能和效率。在自然语言处理和机器翻译等任务中，注意力机制已经得到广泛应用。在机器视觉领域，注意力机制也被广泛应用，特别是在图像分类、目标检测和图像分割等任务中。在这些任务中，注意力机制通常用来提高模型对关键区域的关注度，从而提高模型的准确性和鲁棒性。例如，在图像分类任务中，注意力机制可以帮助模型在图像中关注到更加重要的区域，从而提高分类的准确性。
Python实现的GAN基础程序及MNIST手写体数据集教程
例如，NumPy、Pandas、Matplotlib、Scikit-learn、TensorFlow和PyTorch等库为数据处理、分析、可视化和深度学习模型的构建提供了强大的工具。在GAN的开发中，Python同样扮演着关键角色。 3. MNIST数据集介绍: ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

okfang616

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值