PyTorch MNIST手写体识别：SwanLab可视化训练

已于 2024-09-11 20:26:50 修改
阅读量920 收藏 14
点赞数 14
文章标签： pytorch 人工智能 python llama 面试 语言模型 ai
于 2024-07-03 11:43:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85782600/article/details/140148128
版权

MNIST手写体识别是深度学习、CV的“Hello World”，无数人从这个任务入门，进入深度学习的世界～

进阶请看：PyTorch猫狗分类

这篇文章我将带大家使用SwanLab（训练可视化）、PyTorch（深度学习框架）这两个开源工具，完成从数据集准备、代码编写、到模型训练的全过程。 [图片]

代码同时适用于纯CPU、英伟达GPU或Apple M1训练。

完整代码请直接跳转到2.9节。

实验过程：SwanLab - MNIST手写体识别 数据集：百度云 提取码: 89y2 两个开源库：SwanLab、pytorch

1. 准备部分

在此之前，你需要确保你已经安装了Python。

1.1 什么是MNIST手写体识别

MNIST手写体识别任务是一个经典的计算机视觉问题，属于图像分类任务，目标是输入一个手写数字图像，AI模型可以正确预测数字是多少。 MNIST数据集包含70,000个手写数字图像，每个图像大小为28x28像素。这些图像分为两部分：60,000个训练集和10,000个测试集。 [图片]

1.2 安装Python库

需要安装下面这4个库：

shell复制代码torch
torchvision
swanlab>=0.3.2

安装命令：

复制代码pip install torch torchvision swanlab

1.3 创建文件目录

需要包含两个文件：

  1. train.py，它的作用训练模型
  2. MNIST文件夹，存放数据集。

MNIST数据集的下载有两种方式：一种是通过2.1中的代码下载（推荐），如果下载存在网络问题的话，则可以用我提供的百度云链接下载：百度云，提取码: 89y2。

[图片]

2. 训练部分

如果想直接看完整代码和效果，可直接跳转到第2.9。

2.1 载入MNIST数据集

训练部分的代码全部写在train.py中。 载入MNIST数据集分为三步：

  1. 下载MNIST数据集
  2. 将数据集分为训练集和验证集
  3. 封装到PyTorch DataLoader中，以供训练使用

下面的代码演示了这一过程：

python复制代码from torchvision.datasets import MNIST

# 下载MNIST训练集
dataset = MNIST(os.getcwd(), train=True, download=True, transform=ToTensor())

# 随机分为训练集和验证集, 训练集55000张，验证集5000张
train_dataset, val_dataset = utils.data.random_split(dataset, [55000, 5000])

# 写入Pytorch数据载入器中
train_loader = utils.data.DataLoader(train_dataset, batch_size=256, shuffle=True)
val_loader = utils.data.DataLoader(val_dataset, batch_size=1, shuffle=False)

ps：如果下载速度不给力的话，可以用我提供的百度云链接下载：百度云 提取码: 89y2。

目录结构是 根目录/MNIST/raw/...(下图所示的文件)。 在这里插入图片描述

2.2 载入ResNet18模型

模型我们直接选用经典的ResNet18，模型的具体原理本文不细说，重点放在工程实现上。 我们使用torchvision来创建1个resnet50模型，并载入预训练权重：

python复制代码import torchvision
from torchvision.models import ResNet18_Weights

model = torchvision.models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)

因为MNIST是个1维图像和10分类任务（即输入一张图片，分类它是0～9这10个数字中的哪一个），而torchvision提供的resnet18默认是适配3维图像与1000分类，所以我们需要把模型的第一个卷积层的输入维度替换为1，全连接层的输出维度替换为10：\

python复制代码import torchvision
from torchvision.models import ResNet18_Weights
import torch

model = torchvision.models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)

# 将模型的输入维度改为1，全连接层替换为10
model.conv1 = nn.Conv2d(1, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
in_features = model.fc.in_features
model.fc = torch.nn.Linear(in_features, 10)

2.3 设置cuda/mps/cpu

如果你的电脑是英伟达显卡，那么cuda可以极大加速你的训练； 如果你的电脑是Macbook Apple Sillicon（M系列芯片），那么mps同样可以极大加速你的训练； 如果都不是，那就选用cpu：

python复制代码#检测是否支持mps
try:
    use_mps = torch.backends.mps.is_available()
except AttributeError:
    use_mps = False

#检测是否支持cuda
if torch.cuda.is_available():
    device = "cuda"
elif use_mps:
    device = "mps"
else:
    device = "cpu"

将模型加载到对应的device中：

python

复制代码model.to(torch.device(device))

2.4 初始化SwanLab

在训练中我们使用swanlab库作为实验管理与指标可视化工具。 SwanLab是一个类似Wandb（Weights and Biases）的在线开源训练可视化工具，能够在远程、在网页上看指标。除了能记录指标，还能自动记录训练的logging、硬件环境、Python环境、训练时间等信息。 如何入门SwanLab可以看这个文档：🚀快速开始 - SwanLab，也可以跟着本文往下走。

初始化并设置超参数 swanlab库使用swanlab.init记录超参数、实验名、实验介绍：

python复制代码import swanlab
# 初始化swanlab
run = swanlab.init(
    project="MNIST-example",
    experiment_name="ResNet18",
    config={
        "model": "ResNet18",
        "optim": "Adam",
        "lr": 1e-4,
        "batch_size": 256,
        "num_epochs": 10,
        "device": device,
    }

这里我们设置的超参数分别是：模型使用resnet18，学习率lr为1e-4，批大小batch_size为256，轮数epoch为20，分类数为10，设备为2.3检测到的设备值。 这里swanlab干了三件事：

  1. 创建了1个名为MNIST的项目
  2. 创建了1个名为ResNet18的实验，项目和实验是类似文件夹和文件的关系，每次训练都会产生一个新的实验
  3. 将超参数上传到实验中，被记录下来

跟踪训练指标 在训练MNIST的过程中，我们最关心的指标就是训练集的损失值loss和验证集的准确率acc，我们用SwanLab在记录这些指标，生成可视化的折线图。 下面是一个简单的记录loss的常见用法，具体的使用案例见2.6和2.7。

python复制代码for data in train_dataloader:
    ...
    swanlab.log({"loss": loss})

2.5 设置优化器和损失函数

设置损失函数为交叉熵损失，优化器为Adam。

python复制代码criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=run.config.lr)

交叉熵损失是常用于图像分类任务的损失函数，Adam是一种经典的优化器。

2.6 定义训练函数train

我们定义1个训练函数train：

python复制代码def train(model, device, train_dataloader, optimizer, criterion, epoch, num_epochs):
    model.train()
    # 1. 循环调用train_dataloader，每次取出1个batch_size的图像和标签
    for iter, (inputs, labels) in enumerate(train_dataloader):
        inputs, labels = inputs.to(device), labels.to(device)
        optimizer.zero_grad()
        # 2. 传入到resnet18模型中得到预测结果
        outputs = model(inputs)
        # 3. 将结果和标签传入损失函数中计算交叉熵损失
        loss = criterion(outputs, labels)
        # 4. 根据损失计算反向传播
        loss.backward()
        # 5. 优化器执行模型参数更新
        optimizer.step()
        print('Epoch [{}/{}], Iteration [{}/{}], Loss: {:.4f}'.format(epoch, num_epochs, iter + 1, len(train_dataloader),
                                                                      loss.item()))
        # 6. 每20次迭代，用SwanLab记录一下loss的变化
        if iter % 20 == 0:
            swanlab.log({"train/loss": loss.item()})

训练的逻辑很简单：我们循环调用train_dataloader，每次取出1个batch_size的图像和标签，传入到resnet18模型中得到预测结果，将结果和标签传入损失函数中计算交叉熵损失，最后根据损失计算反向传播，Adam优化器执行模型参数更新，循环往复。 在训练中我们最关心的指标是损失值loss，所以我们用swanlab.log跟踪它的变化。

2.7 定义测试函数test

我们定义1个测试函数test：

python复制代码def test(model, device, val_dataloader, epoch):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        # 1. 循环调用val_dataloader，每次取出1个batch_size的图像和标签
        for inputs, labels in val_dataloader:
            inputs, labels = inputs.to(device), labels.to(device)
            # 2. 传入到resnet18模型中得到预测结果
            outputs = model(inputs)
            # 3. 获得预测的数字
            _, predicted = torch.max(outputs, 1)
            total += labels.size(0)
            # 4. 计算与标签一致的预测结果的数量
            correct += (predicted == labels).sum().item()
    
        # 5. 得到最终的测试准确率
        accuracy = correct / total
        # 6. 用SwanLab记录一下准确率的变化
        swanlab.log({"val/accuracy": accuracy}, step=epoch)

测试的逻辑同样很简单：我们循环调用test_dataloader，将验证集的图像传入到当前训练的resnet18模型中得到预测结果，与标签进行对比，计算整体的准确率。 在测试中我们最关心的指标是准确率accuracy，所以我们用swanlab.log跟踪它的变化。

2.8 保存模型权重文件

我们使用train.save进行模型的权重保存，保存到checkpoint文件夹下。

python复制代码# 如果不存在checkpoint文件夹，则自动创建一个
if not os.path.exists("checkpoint"):
    os.makedirs("checkpoint")
torch.save(model.state_dict(), 'checkpoint/latest_checkpoint.pth')

至此，我们完成已完成了绝大多数的代码，现在是时候将它们组合起来，开始训练！

2.9 完整训练代码

我们一共训练10轮，每2轮进行测试，并在最后保存权重文件：

python复制代码import os
import torch
from torch import nn, optim, utils
import torch.nn.functional as F
import torchvision
from torchvision.datasets import MNIST
from torchvision.transforms import ToTensor
from torchvision.models import ResNet18_Weights
import swanlab

def train(model, device, train_dataloader, optimizer, criterion, epoch, num_epochs):
    model.train()
    # 1. 循环调用train_dataloader，每次取出1个batch_size的图像和标签
    for iter, (inputs, labels) in enumerate(train_dataloader):
        inputs, labels = inputs.to(device), labels.to(device)
        optimizer.zero_grad()
        # 2. 传入到resnet18模型中得到预测结果
        outputs = model(inputs)
        # 3. 将结果和标签传入损失函数中计算交叉熵损失
        loss = criterion(outputs, labels)
        # 4. 根据损失计算反向传播
        loss.backward()
        # 5. 优化器执行模型参数更新
        optimizer.step()
        print('Epoch [{}/{}], Iteration [{}/{}], Loss: {:.4f}'.format(epoch, num_epochs, iter + 1, len(train_dataloader),
                                                                      loss.item()))
        # 6. 每20次迭代，用SwanLab记录一下loss的变化
        if iter % 20 == 0:
            swanlab.log({"train/loss": loss.item()})

def test(model, device, val_dataloader, epoch):
    model.eval()
    correct = 0
    total = 0
    with torch.no_grad():
        # 1. 循环调用val_dataloader，每次取出1个batch_size的图像和标签
        for inputs, labels in val_dataloader:
            inputs, labels = inputs.to(device), labels.to(device)
            # 2. 传入到resnet18模型中得到预测结果
            outputs = model(inputs)
            # 3. 获得预测的数字
            _, predicted = torch.max(outputs, 1)
            total += labels.size(0)
            # 4. 计算与标签一致的预测结果的数量
            correct += (predicted == labels).sum().item()
    
        # 5. 得到最终的测试准确率
        accuracy = correct / total
        # 6. 用SwanLab记录一下准确率的变化
        swanlab.log({"val/accuracy": accuracy}, step=epoch)
    

if __name__ == "__main__":

    #检测是否支持mps
    try:
        use_mps = torch.backends.mps.is_available()
    except AttributeError:
        use_mps = False

    #检测是否支持cuda
    if torch.cuda.is_available():
        device = "cuda"
    elif use_mps:
        device = "mps"
    else:
        device = "cpu"

    # 初始化swanlab
    run = swanlab.init(
        project="MNIST-example",
        experiment_name="ResNet18",
        config={
            "model": "ResNet18",
            "optim": "Adam",
            "lr": 1e-4,
            "batch_size": 256,
            "num_epochs": 10,
            "device": device,
        },
    )

    # 设置MNIST训练集和验证集
    dataset = MNIST(os.getcwd(), train=True, download=True, transform=ToTensor())
    train_dataset, val_dataset = utils.data.random_split(dataset, [55000, 5000])

    train_dataloader = utils.data.DataLoader(train_dataset, batch_size=run.config.batch_size, shuffle=True)
    val_dataloader = utils.data.DataLoader(val_dataset, batch_size=8, shuffle=False)

    # 初始化模型
    model =torchvision.models.resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
    # 让模型适配MNIST数据集
    model.conv1 = nn.Conv2d(1, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
    in_features = model.fc.in_features
    model.fc = torch.nn.Linear(in_features, 10)
    model.to(torch.device(device))

    # 定义损失函数和优化器
    criterion = nn.CrossEntropyLoss()
    optimizer = optim.Adam(model.parameters(), lr=run.config.lr)

    # 开始训练和测试循环
    for epoch in range(1, run.config.num_epochs+1):
        swanlab.log({"train/epoch": epoch}, step=epoch)
        train(model, device, train_dataloader, optimizer, criterion, epoch, run.config.num_epochs)
        if epoch % 2 == 0: 
            test(model, device, val_dataloader, epoch)

    # 保存模型
    # 如果不存在checkpoint文件夹，则自动创建一个
    if not os.path.exists("checkpoint"):
        os.makedirs("checkpoint")
    torch.save(model.state_dict(), 'checkpoint/latest_checkpoint.pth')

2.10 开始训练！

实验过程可看这个SwanLab网页：SwanLab - MNIST 在开始运行时，如果你是第一次使用SwanLab，会提示你要输入SwanLab API Key。 这里的操作也非常简单，去SwanLab官网登录一下账号，在【设置】页面复制API Key，粘贴过来就可以： [图片] [图片]

然后，我们运行train.py： 在这里插入图片描述

这时候你会在看到在开头会给到你两个链接，我们点击第一个，里面包含了这个项目的信息和一个对比实验表格： 在这里插入图片描述

我们点开1个进行中的实验，会看到loss和acc整体的变化曲线： 在这里插入图片描述

切换到实验卡片，这里记录了实验的各种信息，包括超参数、最终的实验指标、实验状态、训练时长、Git仓库链接、主机名、操作系统、Python版本、硬件配置等等。 在这里插入图片描述

可以看到我们最终训练的准确率是98.66%，提高到99%以上应该不困难！可以把这个实验作为你的baseline，去尝试不同的trick来提高准确率～

在这里插入图片描述

至此我们完成了模型的训练和测试，得到了1个表现非常棒的猫狗分类模型，权重保存在了checkpoint目录下。 至此，我们完成了用SwanLab、PyTorch这两个开源工具训练1个猫狗分类模型的全部过程，更多想了解的可以参考相关链接或评论此文章。 如果有帮助，请点个赞和收藏吧～

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AGI小明同学
关注
基于PyTorch实现MNIST手写字识别
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-11 1129
使用Pytorch构建一个简单的神经网络，并对MNIST数据集进行了训练和测试，使用测试集来验证训练出的模型对手写数字的识别准确率。
深度学习Hello World --- 手写体识别 实战
一名新生程序员的日常
09-24 7869
最近因为学校事情比较多，也开始准备研究出一些深度学习方面的教程，但总被一些大大小小的原因在往后拖进度，这期用Python写一篇从零到一的手写体识别算法实战课来教各位如何入门深度学习。 准备数据集 首先准备一个 mnist 数据集。 这是下载地址 四个数据集分别是训练图集、训练结果、测试图集、测试结果。 下载后存到一个文件夹中备用。 Tensorflow 数据流图框架 首先先调用Python第三方库，将数据集全部调用进程序 （在这里使用 Tensorflow2.3.0 以及 scipy==1.2.1）
第P1周：Pytorch实现mnist手写数字识别
DLearner的博客
09-29 1159
将其转换为浮点数，这样就可以进行求和操作，得到正确预测的数量。最后，将正确预测的数量除以数据集的总大小，得到平均准确率。将其转换为浮点数，这样就可以进行求和操作，得到正确预测的数量。最后，将正确预测的数量除以数据集的总大小，得到平均准确率。首先通过两个卷积层和池化层来提取图像的特征，然后将特征图展平，并通过两层全连接层进行分类。计算的是预测类别是否与真实类别一致，结果是一个布尔类型的Tensor，当预测正确时为。计算的是预测类别是否与真实类别一致，结果是一个布尔类型的Tensor，当预测正确时为。
pytorch应用于MNIST手写字体识别
weixin_40356612的博客
07-30 1406
手写字体MNIST数据集是一组常见的图像，其常用于测评和比较机器学习算法的性能，本文使用pytorch框架来实现对该数据集的识别，并对结果进行逐步的优化。
pytorch-MNIST手写数字识别与特征图可视化
redross的博客
12-01 5719
pytorch-MNIST手写数字识别与特征图可视化1、MNIST数据集2、代码2.2 函数参数2.3 数据加载与transform2.4 训练2.5 测试3. 训练结果可视化3.1 多模型准确率汇总4. 特征图可视化4.1 原图4.2 卷积后的特征图4.3 激活函数ReLu后的特征图4.4 最大池化后的特征图4.4 最后的特征图4.5 输出 1、MNIST数据集 似乎所有程序员在学习一个新的程序语言时，都想要打印输出一个“hello world”，它代表了你入门了这门语言。那么，MNIST手写数字识别便是
SwanLab入门深度学习：PyTorch MNIST手写体识别
SoulmateY的博客
05-18 675
SwanLab - MNIST手写体识别任务是一个经典的计算机视觉问题，SwanLab入门深度学习、PyTorch MNIST手写体识别、MNIST数据集、PyTorch教程、手写数字识别、深度学习入门、机器学习训练、可视化深度学习、PyTorch实例、神经网络模型、Python深度学习、机器学习项目、SwanLab教程、手写体识别算法、PyTorch基础
pytorch 入门 （三）案例一：mnist手写数字识别
qq_33489955的博客
10-20 1283
本文为内部限免文章。
pytorch（一）：实现mnist手写数字识别
ali1174的专栏
04-21 5959
Pytorch的入门训练--CNN手写mnist识别
使用 SwanLab 进行可视化 MNIST 手写体识别训练
qq_51574759的博客
05-27 368
SwanLab是一款开源、轻量级的AI实验跟踪工具，提供了一个跟踪、比较、和协作实验的平台，旨在加速AI研发团队100倍的研发效率。其提供了友好的API和漂亮的界面，结合了超参数跟踪、指标记录、在线协作、实验链接分享、实时消息通知等功能，让您可以快速跟踪ML实验、可视化过程、分享给同伴。
Pytorch实战 | 第P1周：实现mnist手写数字识别
weixin_47272689的博客
11-18 543
Pytorch实战
深度学习-39-基于PyTorch的预训练源模型微调到目标模型的流程
qq_20466211的博客
10-30 309
(1)在源数据集上预训练神经网络模型，即源模型；(2)创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）；(3)向目标模型添加或修改输出层，其输出数是目标数据集中的类别数，然后随机初始化该层的模型参数；(4)在目标数据集上训练目标模型。输出层将从头开始训练，而所有其他层的参数将根据源模型的参数进行微调。
corediff2
yyfhq的博客
10-30 930
return embreturn outif in_ch!= out_ch:else:return x# diff])return outreturn xdim = 32nn.GELU(),nn.GELU(),nn.GELU(),nn.GELU(),nn.GELU(),if adjust:else:if adjust:else:if adjust:else:
PyTorch 数据分布函数介绍
qq_27390023的博客
10-30 399
在 PyTorch 中，数据分布函数用于生成满足特定概率分布的数据或对数据执行统计操作。这些函数可以在许多任务中提供帮助，例如初始化神经网络的权重、生成随机输入、进行蒙特卡洛模拟和概率建模。
docker复现pytorch_cyclegan
lin的博客
11-02 530
docker复现pytorch_cyclegan简单记录
每天五分钟深度学习pytoroch：基于pytorch搭建逻辑回归算法模型
huanfeng_AI的博客
10-30 264
前面我们学习了线性回归模型的搭建，无论是基于pytorch还是不基于pytorch，以上的模型都是回归模型，本文我们将使用pytorch搭建逻辑回归模型，逻辑回归模型是一个经典的分类问题。
Pytorch猴痘病识别
最新发布
m0_72010245的博客
11-02 448
设置GPU确保你有适当的环境配置以利用GPU（如CUDA和cuDNN）。验证CUDA设备是否可用，以确保代码能够高效运行在GPU上。导入数据确保数据路径正确，且数据格式和内容符合预期。处理任何缺失值或异常数值，以免影响模型训练。考虑数据增强技术以增加训练样本的多样性，减少过拟合。划分数据集按照合理的比例划分数据集（如80%训练集，10%验证集，10%测试集）。确保数据划分的随机性和多样性，避免样本偏差。在划分后，检查各个数据集的标签分布，以确保均衡。
中文文本分类 pytorch实现
s44359487yad的博客
11-02 591
使用pytorch实现了TextCNN，TextRNN，FastText，TextRCNN，BiLSTM_Attention，DPCNN，Transformer，开箱即用。
PyTorch实现MNIST手写体识别教程
"这篇教程介绍了如何使用PyTorch框架实现MNIST手写体识别任务，提供了详细的代码示例。文章首先介绍了实验环境，包括操作系统、Anaconda、Jupyter Notebook、PyTorch版本以及Python版本。此外，GPU环境是可选项。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值