【DL】卷积神经网络（CNN）的介绍与优化

最新推荐文章于 2024-01-04 00:02:16 发布
最新推荐文章于 2024-01-04 00:02:16 发布
阅读量1.9k 收藏 20
点赞数 3
分类专栏： DL python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dzg_chat/article/details/89815175
版权

1 CNN简介

是一种以卷积计算为核心的前馈运算神经网络模型，区别于低隐层全连接神经网络模拟轴突树突神经节点，卷积网络类似大脑识别物体的感受野，对特征进行从低维到高维的逐层抽象提取，学习到从边缘、方向、纹理低层特征到高层语义（物体、句子）的特征。

2 网络结构

CNN快速发展，得益于LeNet-5、Alexnet（8层）、ZFNet、VGGNet（19层）、GoogleNet（24层）、ResNet等不同结构的设计出现。

主要设计思路：

  • 卷积>激活>池化>卷积>激活>池化>…全连接

2.1 卷积层（convolution layer）

卷积计算：卷积核在图像上按照步长移动，卷积核覆盖的区域内的每个通道图像数据和卷积核对应位置数值相乘求和。参考博客：yjl9122 博客2

在这里插入图片描述

卷积的作用就是通过卷积核(深度一般和输入图像相同)作用于图像局部区域获得图像的局部信息，增强提取特征（就是核里的数值和图像数值乘积求和作为输出），类似图像处理中的滤波器，输出的新图像称为feature map特征图。

上图就是两个卷积核，w1和w2，每个卷积核的深度（通道）为4，下一层输出就是两层。

超参数：

  • 卷积核（卷积参数，convolution kernel或convolution filter）是一个矩阵，覆盖在图像上边移动边计算。深度不定。

  • 卷积步长（stride）：核在输入图像上的移动距离。

权重（weight）：需要学习的部分， 就是学习到的核参数

权值共享（weight sharing）：卷积核在移动过程中是不变的

偏置项（bias term）：运算偏置，卷积核求积求和后加个常数，增加非线性。

  • 偏置项或者学习率设置为0固定这一层的偏置或者权重。

卷积核作用：

整体边缘滤波器（Ke）、横向边缘滤波器（Kh）、纵向边缘滤波器（Kv）不同核值可以达到提取图像像素显著差异区域，消除差异小的区域，达到检测整体、纵向、横向边缘信息。Kh，Kv 一般也称为sobel滤波器。

2.2 池化（pooling或汇合）

池化操作类似特征的下采样（down-sampling），模仿人对视觉特征的降维抽象，池化操作的输入就是卷积输出的feature map，
提取高级特征。
在这里插入图片描述

就是减低卷积输出的特征向量,对池化核区域内的数据有目的选择。

  • 特征不变性：更关注是否存在而非具体值。
  • 特征降维：维度约简，抽取广泛的特征，减小下层输入，降低计算量。
  • 一定程度防止过拟合。

操作运算类似卷积过程，只是不需要学习参数。只需要指明池化类型、池化核大小、池化步长这些超参数就可以，也决定了输出数据的大小维度。

  • 均值池化（average-pooling）：池化核盖上去，取这个区域的平均值
  • 最大值池化（max-pooling）：核区域内的最大值
  • 随机池化（stochastic-pooling）：全局上类似平局，局部类似最大

2.3 激活函数（activation function）

模拟生物学中神经元的特性，输入信号到达一个阈值之后才会产生兴奋向下传递，又称非线性映射层（no=linearlity-mapping），增加网络表达非线性的能力。

在网络里对（权重 * 节点参数 * + 偏差 ）的运算结果进行激活处理。抛掉一部分达不到阈值的输出。

sigmod函数（logistic）：

  • 输入无论多大多小输出都会被压缩到【0,1】之间。

  • 由它的梯度（导数）函数图像知道，是一个尖峰型，尖峰两边很远的变量导数为0.在误差反向传播时导数处于这部分的误差很难传到钱层，导致参数无法更新，网络无法训练，引发饱和效应（staturation effect）。

ReLU函数(最常用)：

  • x >= 0，函数梯度为1，反之为0.消除了梯度饱和。
  • 有助于随机梯度下降法收敛，收敛速度较logistics快6倍左右。

在这里插入图片描述

2.4 全连接层

准确说是Flatten层，将卷积层和池化层操作运算得到的抽象特征映射为一个高维向量（一维），然后用这个向量通过全连接层和分类输出拟合理想的函数，实现学习特征最后目标。方便计算概率和分类预测的输出。

3 经典模型示例（LeNet-5）

在这里插入图片描述
这里要注意的是：随着向后运算的过程，每个卷积核的深度是变化的，如第三层feature_map是6 * 14 * 14，就是每单个卷积核深度为6，进行卷积运算求和加偏置等之后输出为1层feature_map，所以理论上是要有 16个（5 * 5 * 6）的卷积核。实际因为不是全连接，所以不需要那么多卷积核，可以看下文。

3.1 C1卷积

这里一个卷积核可以理解为深度为6，就是一个卷积核包含六个同样尺寸的卷积模板，因为输入是单层的，所以只进行了一次和卷积核的运算。

  • 输入尺寸：32*32
  • 卷积核大小：5*5
  • 卷积核深度（一个卷积核包含的卷积模板数）：6
  • 输出特征图(神经元节点数量)：2828 * 6（步长为1时，5 * 5大小卷积核在32 * 32图像上走完输出图的尺寸是 32-5+1=28）
  • 可训练参数：（5*5+1） * 6 （每一个核都需要训练参数和偏置，和池化有区别）
  • 网络连接数量：（5 * 5+1）* 6 * 28 * 28

3.2 S2下采样（池化）

这里运算更看重卷积模板运算后的权和偏置，不在意卷积的时候每个模板不同位置的参数。

  • 输入特征图：28 * 28 *6
  • 采样核：2 * 2 (步长为2)
  • 采样核深度：6 （和卷积输出特征深度相同）
  • 输出池化特征图：14 * 14 * 6
  • 网络连接数量：（2 * 2 + 1）* 6 *14 *14
  • 可训练参数：这一步的参数不是训练核里的数值，而是求完和的权（激活），再加上一个偏置，所以训练参数数量：2 * 6

3.3 C3卷积

C3里卷积核与S2的特征图是部分连接的，每个卷积核可以看做由不同数量的卷积模板组成的，如下图，前面6次是3个模板作为一个卷积核，中间9个是5个模板作为一次卷积核，最后一次是与S2全连接，6个模板作为一个卷积核。

在这里插入图片描述

  • 输入：S2 输出的6个池化特征图的组合，即与S2部分连接

  • 卷积核大小：5 * 5 （步长 1）

  • 卷积核种类：16 （决定输出特征也是16层）

  • 输出2次卷积运算后的特征：10 * 10 （14-5+1） 对S2 输出的池化特征图进行组合，（6 + 9 +1）共16层输出。

训练参数（以6+9+1=16为例）：

  • 16层的C3输出特征图的前6种，是以S2里3个子特征图作为输入运算出来的。一个卷积核是含3个卷积模板。

    • 一个卷积核的参数：3 * 5 * 5，再加一个偏置项。6层总参数：6 * （3 * 5 * 5 + 1）

  • C3输出的中间9个特征图,是以S2里的4个特征子图为输入运算出来的,一个卷积核包含4个卷积模板。

    • 一个卷积核参数：4 * 5 * 5，加上一个偏置项。9层总参数：9 * （4 * 5 * 5 + 1）

  • C3输出的最后1个特征图，以S2里的全部作为输入，一个卷积核包含6个卷积模板。

    • 一个卷积核参数：6 * 5 * 5，加一个偏置项，总：6 * 5 * 5 + 1

  • C3的总训练参数：6 *（3 * 5 * 5 + 1）+ 9 *（4 * 5 * 5 + 1）+6 * 5 * 5 + 1 =1516

网络连接数量：1516 * 10 * 10 = 151600 个

3.4 S4下采样（池化）

  • 输入特征图：10 * 10 共16 层C3 特征图
  • 采样核：2 * 2 (步长为2)
  • 采样核深度：16 （和C3输出特征深度相同）
  • 可训练参数：2 * 16
  • 网络连接数量：（2 * 2 + 1）* 6 *5 *5
  • 输出池化特征图：5 * 5 * 16

C3层输出特征图大小是10 * 10，S4输出是5 *5 ,只有1/4 大小了。

3.5 C5 卷积

这里有120个卷积核，每个卷积核包含16个卷积模板，这样一个卷积核和S4运算一次相当与每个S4的输出特征图都连接了卷积模板。

  • 输入：16个 5 * 5 特征图
  • 卷积核：5 * 5
  • 卷积核深度：120
  • 输出特征图：1 * 1 （5 - 5 + 1） 共计120个
  • 训练优化的参数：120 * （5 * 5 * 16 + 1）= 48120 个
    • 120个卷积核，每个核16个卷积模板，模板是5*5，再加一个偏置

3.6 F6 全连接

这里全连接层有84个神经节点，和C5的120 维神经节点进行全连接。

  • 输入：C5卷积输出的120 * 1 * 1的特征
  • 输出：84 维的特征。
  • 可训练参数：84 * （120 + 1） = 10164

一般会把卷积网络最终输出的N多维向量使用 softmax 函数转化为概率密度函数。之后可以作为分类判断，也可以结合样本ylabel求解交叉熵。

4 网络优化改进方向

4.1 输入数据的处理

  • Normallization 归一化
    • 输入数据中心式均值归一（移除共同，凸显差异）
  • 数据扩充
    • 水平翻转、旋转（-30， -15，15， 30）
    • 随机扣取（原图0.8-0.9）
    • 尺度变换（图像分辨率0.8, 0.9, 1.1, 1.2, 1.3）
    • 色彩抖动（RGB微调色值，HSV微调SV值）
    • 监督式数据扩充（绘制热力图特征图看相关性，扣取有关的）
  • 训练数据随机打乱（shuffle）：配合Mini_batch
  • 不平衡样本：有的类别很多，有的类别极少
    • 数据少的（over_sampling），多的（under-sampling）
    • 类别平衡采样：先随机取类，再从类里抽样
    • 算法层面：根据混淆矩阵添加代价敏感矩阵、向量

4.2 网络参数的处理

4.2.1网络训练参数初始化：

  • 随机初始化（高斯、去偏离正态、均匀分布等）
  • 全零初始化
  • 获得预先训练好的模型参数

4.2.2 Regularization 正则化

给参数加权重，加快收敛，防止过拟合。

参考博客：链接1 链接2

  • L1正则：∑|W|（Lasso）
  • L2正则：Ridge Regression（岭回归）权重衰减

4.2.3 神经元随机失活：

被drop的只是本轮不参与训练，下轮可能就会参与。

  • Dropout：模型训练时随机让网络某些隐含层节点的权重不起作用，但是它的权重保留下来(只是暂时不更新)
  • DropConnect：不像DropOut一样随意设置输出节点的值为0，而是随机设置权重矩阵W 为0。

4.2.4 学习率learning rate

不宜过大，0.01和0.001为佳。一般都设为0.001

  • 指数衰减（较常用）
  • 轮数衰减
  • 分数衰减

知乎专栏：

4.3 卷积层的优化

一个大卷积层替换为多层小卷积层结构：

  • L到L+1层映射关系为1 * 1——7 * 7和L层——L+3层中间包含3层3 * 3 相比平添了很多卷积核的优化参数，效果却近似，所以小而多的卷积层较好。
  • 添加中间层小卷积核增强了网络容量和复杂度，降低了卷积参数个数。
  • 配合填充（padding）：利用处理边缘信息、保证图像大小

1*1 的卷积核的作用：

  • 改变特征图深度：升、降维（改通道数）、明显降低计算量

  • 增加非线性：提高表达能力。

    参考博客：1*1卷积CSDN 知乎回答

4.4 池化层的优化

一般采用 2*2, 3 *3 较小的核，不丢弃过多。

  • 常用的一般池化：Max、Mean pooling
  • Mixed pooling：混合最大和均值池化
  • 随机stochastic pooling：
  • Spatial pyramid pooling：金字塔池化

4.5 激活函数的优化

现在最常用的非线性激活函数有relu，relu常见于卷积层。其他sigmoid/tanh比较常见于全连接层，都会或多或少有梯度爆炸或者梯度消失的问题。为了改进relu的死区问题还出现了几种衍生算法，一般不常用。

  • sigmoid：值域在[0,1]之间，过大过小x时梯度为零，误差无法前传
  • tanh：值域在[-1，+1]，容易和sigmoid类似梯度饱和（爆炸）或消失
  • ReLU（有死区，x<0,梯度为0）
    • LReLU ： x<0时加参数 α ,防死区
    • PReLU
    • RReLU（随机化）
    • 指数化线性单元（ELU）

图：在这里插入图片描述

4.6 损失函数的优化

回归问题：

  • 普通残差：y_pre-y
  • L1损失：∑|残差|
  • L2损失：∑|残差|2

分类问题：

  • Softmax loss :交叉熵损失函数，卷积网络最常用
  • Hinge loss:像SVM类似的大边距。
  • Robust loss：
  • 大间隔交叉损失：large-margin softmax loss
  • 中心损失：center loss

4.7 优化器的选择

普通的梯度下降法在神经网络里不常使用，因为参数太多，无法同时更新所有的参数。

  • 随机梯度下降（Stochastic gradient descent）
  • 动量更新：（MomentumOptimizer）
  • AdamOptimizer、AdadeltaOptimizer等等

其他常用的可以在tensorflow.train.里面查看。知乎专栏

5 应用场景

  • 图像分类
  • 物体跟踪
  • 身体姿态估计
  • 文本检测
  • 动作识别
  • 场景标记

感谢：魏秀参博士-解析卷积神经网络的电子书以及众多优秀的博客作者。

Kevin_2018001
关注
  • 3
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
卷积神经网络的优化器选择与调参
禅与计算机程序设计艺术
03-20 492
1. 背景介绍 1.1 卷积神经网络简介 卷积神经网络(Convolutional Neural Networks, CNNs)是一种深度学习模型,主要应用于计算机视觉领域,展现出了优秀的图像分类、目标检测和语义分割等能力。CNNs的主要创新在于引入了卷积(Convolution)操作,能够有效地捕
卷积神经网络概述及python实现
02-24
对于卷积神经网络（CNN）而言，相信很多读者并不陌生，该网络近年来在大多数领域都表现优异，尤其是在计算机视觉领域中。但是很多工作人员可能直接调用相关的深度学习工具箱搭建卷积神经网络模型，并不清楚其中具体的原理。本文将简单介绍卷积神经网络（CNN），方便读者大体上了解其基本原理及实现过程，便于后续工作中的实际应用。本文将按以下顺序展开：1.了解卷积操作2.了解神经网络3.数据预处理4.了解CNN5.了解优化器6.理解ImageDataGenerator7.进行预测并计算准确性8.demo在数学（尤其是函数分析）中，卷积是对两个函数（f和g）的数学运算，以产生第三个函数，该函数表示一个函数的形状如
图卷积网络在图结构聚类中的表现与优化
禅与计算机程序设计艺术
01-04 366
1.背景介绍 图结构聚类是一种常见的数据挖掘任务，它涉及到对图中的节点进行分组，使得同一组内的节点之间更加紧密，而不同组内的节点之间更加松散。图结构聚类在社交网络、信息检索、生物网络等领域具有广泛的应用。传统的聚类算法如K-Means、DBSCAN等主要针对向量数据，而对于图数据，需要使用图聚类算法。 图聚类算法可以分为两类：基于特征的方法和基于结构的方法。基于特征的方法首先将图中的节点表示为...
不懂得如何优化CNN图像分类模型？这有一份综合设计指南请供查阅
weixin_33915554的博客
05-08 880
对于计算机视觉任务而言，图像分类是其中的主要任务之一，比如图像识别、目标检测等，这些任务都涉及到图像分类。而卷积神经网络（CNN）是计算机视觉任务中应用最为广泛且最为成功的网络之一。大多数深度学习研究者首先从CNN入门，上手的第一个项目应该是手写体MNIST数字图像识别，通过该项目能够大致掌握图像分类的基本操作流程，但由于该项目太成熟，按步...
cnn调优总结
AI 算法笔记
09-20 549
关注&置顶“算法猿的成长”每日8:30，干货速递！转载自 Charlotte数据挖掘资料来自网上，略有删改针对CNN优化的总结Systematic evaluat...
深度学习（7）——CNN优化之路optimization最优化策略
weixin_41761357的博客
12-16 1063
梯度下降 关于梯度下降上一篇博客说了，细节参考这里：https://blog.csdn.net/weixin_41761357/article/details/109689613 这里所谓的梯度下降是指所有样本的梯度下降。 假如有x1,x2,x3……xn， N个样本； 每个样本有x11,x12,x13……x1m ，M个特征； 模型有K个参数。 为了衡量预测值和真实值之间的差异，需要损失函数loss<y^,y> ，对于第i个参数 模型对1~N个样本会生成N个预测值，对每个样本都有一个los
盘点11种高效改进卷积神经网络（CNN）的优化方法【核心代码下载】
学姐带你玩AI的博客
09-15 3287
卷积神经网络定义了一个非常强大的模型类，但仍受限于以计算和参数高效的方式对输入数据空间不变性的缺乏。在这项工作中，作者引入了一个新的可学习模块，即空间转换器，它明确允许网络内数据的空间操作。这个可微分模块可以插入现有的卷积架构中，使神经网络能够主动根据特征映射本身在空间上转换特征映射，而不需要任何额外的训练监督或修改优化过程。作者发现使用空间转换器可以使模型学习对平移、缩放、旋转和更泛化变形的不变性，在几个基准测试中取得了最先进的性能，对一些变换类型也取得了最好的结果。
学习笔记|卷积神经网络（Convolutional Neural Networks, CNN)——更有效率地提取特征
oXiLang的博客
03-09 5194
卷积神经网络的局部感受野和神经元参数共享思想
深度学习-CNN提取图像特征
知识搬运工的博客
01-30 9万+
一、卷积层 1.卷积操作 2.特征提取—"X" or "O"？ 二、池化(Pooling) 三、Relu 层 四、全连接层(Fully connected layers) 五、反向传播算法BP 六、总结 作为机器学习的一个分支，深度学习同样需要计算机获得强大的学习能力，那么问题来了，我们究竟要计算机学习什么东西？答案当然是图像特征了。将一张图像看做是一个个像素值组成的...
CNN调优总结
数据派THU
06-05 666
来源：Charlotte数据挖掘、深度学习爱好者 本文约11000字，建议阅读15+分钟 本文详细对比了各种超参数对CNN模型性能的影响。针对CNN优化的总结Systematic evaluation of CNN advances on the ImageNet使用没有 batchnorm 的 ELU 非线性或者有 batchnorm 的 ReLU。用类似1*1的网络结...
卷积神经网络(CNN)的参数优化方法
ximu__l的博客
02-22 1354
本文总结和摘录了Michael Nielsen的那本Neural Network and Deep Learning一书中关于深度学习一章中关于提高泛化能力的一些概述和实验结果。力争用数据给大家一个关于正则化，增加卷积层/全连接数，弃权技术，拓展训练集等参数优化方法的效果。 本文并不会介绍正则化，弃权（Dropout）, 池化等方法的原理，只会介绍它们在实验中的应用或者起到的效果，更多的关于这些方法的解释请自行查询。
基于 3D 卷积神经网络(CNN)的阿尔兹海默智能诊断 Web 应用
05-10
基于 3D 卷积神经网络(CNN)的阿尔兹海默智能诊断 Web 应用 Alzheimer's Intelligent Diagnosis Web Application based on 3D Convolutional Neural Network and the AD… 深度学习（Deep Learning，简称DL）是机器...
基于卷积神经网络(CNN)和CIFAR10数据集的图像智能分类 Web 应用
05-10
（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）。 [2] （2）基于多层神经元的自编码神经网络，包括自编码（Auto encoder）以及近年来受到广泛关注的稀疏编码两类（Sparse Coding）。 [2] （3）以多层自...
基于深度学习的油画创作系统设计与实现，通过建立深度卷积神经网络来模拟画家进行艺术的创作.zip
最新发布
05-10
基于深度学习的油画创作系统设计与实现，通过建立深度卷积神经网络来模拟画家进行艺术的创作 深度学习（Deep Learning，简称DL）是机器学习（Machine Learning，简称ML）领域中一个新的研究方向，其目标是让机器能够...
Python基于TensorFlow深度学习卷积神经网络自动识别网站验证码设计毕业源码案例设计.zip
05-10
（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）。 [2] （2）基于多层神经元的自编码神经网络，包括自编码（Auto encoder）以及近年来受到广泛关注的稀疏编码两类（Sparse Coding）。 [2] （3）以多层自...
实施一个面部情绪识别系统，本系统利用卷积神经网络算法，基于Tensorflow深度学习框架，
05-10
（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）。 [2] （2）基于多层神经元的自编码神经网络，包括自编码（Auto encoder）以及近年来受到广泛关注的稀疏编码两类（Sparse Coding）。 [2] （3）以多层自...
详解卷积神经网络(CNN)
热门推荐
qq_25762497的博客
04-04 25万+
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
【CNN优化加速】01模型压缩基础：常见策略、卷积相关概念
ShiTianlei的博客
09-27 1932
模型轻量化相关内容
卷积网络中的优化方法
weixin_50529969的博客
11-09 525
网络优化，特征金字塔，残差模块
CNN优化GRNN的matlab
05-19
首先，需要明确CNN和GRNN的作用和特点： - CNN（卷积神经网络）适用于图像和视频等数据的处理和分类，具有平移不变性和局部连接性的特点； - GRNN（广义回归神经网络）适用于序列数据的建模和预测，具有快速训练和较好的泛化能力的特点。 在将CNN和GRNN结合进行优化时，一般采用的方法是将CNN用于特征提取和降维，然后将提取出的特征序列作为GRNN的输入，进行序列建模和预测。 具体实现过程如下： 1. 使用CNN对图像进行特征提取和降维，得到特征序列； 2. 将特征序列作为GRNN的输入，进行序列建模和预测； 3. 对GRNN的参数进行调整和优化，以达到更好的预测效果。 在Matlab中，可以使用深度学习工具箱中的卷积神经网络和回归神经网络函数，进行CNN和GRNN的建模和训练。 下面是一个简单的代码示例，用于将CNN和GRNN结合进行优化： ```matlab % 加载数据 load('data.mat'); % 分割数据集 [trainData, valData, testData] = splitData(data); % 构建CNN模型 layers = [ imageInputLayer([32 32 3]) convolution2dLayer(3, 32, 'Padding', 'same') batchNormalizationLayer reluLayer maxPooling2dLayer(2, 'Stride', 2) convolution2dLayer(3, 64, 'Padding', 'same') batchNormalizationLayer reluLayer maxPooling2dLayer(2, 'Stride', 2) convolution2dLayer(3, 128, 'Padding', 'same') batchNormalizationLayer reluLayer fullyConnectedLayer(256) reluLayer fullyConnectedLayer(10) softmaxLayer classificationLayer]; % 训练CNN模型 options = trainingOptions('adam', ... 'MaxEpochs', 10, ... 'MiniBatchSize', 64, ... 'ValidationData', valData, ... 'ValidationFrequency', 10, ... 'Verbose', false); net = trainNetwork(trainData, layers, options); % 提取特征序列 featuresTrain = activations(net, trainData, 'fc1', 'OutputAs', 'rows'); featuresVal = activations(net, valData, 'fc1', 'OutputAs', 'rows'); featuresTest = activations(net, testData, 'fc1', 'OutputAs', 'rows'); % 构建GRNN模型 netGRNN = layrecnet(1:2, 10); [Xs,Xi,Ai,Ts] = preparets(netGRNN, featuresTrain(1:end-1,:), featuresTrain(2:end,:)); netGRNN = train(netGRNN,Xs,Ts,Xi,Ai); % 预测结果 YPred = sim(netGRNN, featuresTest(1:end-1,:)); ``` 需要注意的是，上述代码仅供参考，实际应用中需要根据具体问题进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值