CNN的基本概念、常用的计算公式和pytorch代码

已于 2023-11-17 10:17:24 修改
阅读量1.1w 收藏 90
点赞数 22
分类专栏： pytorch 文章标签： cnn pytorch 深度学习
于 2022-01-05 20:39:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37249793/article/details/122244198
版权
本文围绕CNN展开，介绍了其基本概念，如卷积、池化和激活函数的作用；阐述常见卷积类型及输入输出尺寸计算公式；讲解常用激活函数、标准化和归一化方法；还涉及模型保存加载、model.eval()和with torch.no_grad()区别、微调方式以及评价指标等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

一、CNN的基本概念

卷积填充池化参考此处
激活函数参考此处
简言之：
卷积有助于我们找到特定的局部图像特征。
池化是用于特征融合和降维，还可以防止过拟合。
激活函数是增加非线性，主要是为了解决梯度消失和梯度爆炸问题。

二、常见的卷积

参考此处

1.一般卷积

这个就是最常见的卷积了，看动图比较容易理解。
在这里插入图片描述

2.扩张卷积(空洞卷积)

这个主要用来扩大感受野，改变扩张率可获得多尺度信息。

3.转置卷积(反卷积)

就是卷积的逆过程做还原(恢复尺寸不恢复值)，比如要可视化、分割还原、gan生成等。

4.可分离卷积

可分离卷积主要可分为空间可分离卷积和深度可分离卷积。

4.1.空间可分离卷积

用2个1D卷积核代替1个2D卷积核得到同样的结果，这样减少了计算量。

4.2.深度可分离卷积

对N通道分别进行卷积后，再对这个输出做一个pointwise核(11N)卷积，这样也减少了计算量。

11的卷积核可以降维、增加模型深度以及增加非线性。
NN的卷积核可以

三、CNN的输入输出尺寸计算公式

3.1.卷积层

N=(W-F+2P)/S + 1
其中
N：输出大小
W：输入大小
F：卷积核大小
P：填充值的大小
S：步长大小
如当W=256，F=3，P=1，S=2时，N=(256-3+2*1)/2+1=128

3.2.池化层

N=(W+2P-D(F-1)-1)/S + 1
其中
N：输出大小
W：输入大小
D：空洞
F：池化核大小
P：填充值的大小
S：步长大小*
如当W=128，D=0， F=2，P=0，S=2时，N=(128+0-0-1)/2+1=64
当分子为奇数时，无论分母是1还是2，分子在最后算的时候都会取为偶数

四、CNN常用的激活函数

4.1.Sigmoid

计算公式：
在这里插入图片描述
函数图像：
在这里插入图片描述
导数图像：
在这里插入图片描述

4.2.tanh

计算公式：在这里插入图片描述
函数图像：
在这里插入图片描述

导数图像：
在这里插入图片描述

4.3.Relu

计算公式：
在这里插入图片描述
函数图像：
在这里插入图片描述
导数图像：
在这里插入图片描述

此外，还有LeakRelu、ERelu、Silu等。

五、标准化和归一化

参考此处

1.标准化

将数据变换为均值为0，标准差为1的分布

1.1.批标准化(Batch Normalization)

每个激活函数都有自己的非饱和区，在激活函数前如果没有BN的话，在非饱和区外的数据都会导致梯度消失，只有非饱和区的数据可用，也加快收敛，防止了过拟合，所以一般会在激活函数前加入BN。

2.归一化

将数据变换到某个区间范围，如[0,1]
在这里插入图片描述
总结：归一化是根据极小极大值缩放范围的，从这个定义出发，看自己的数据是否需要这样处理
标准化相比更常见，如在梯度计算时能加快收敛速度，处理不同尺度的特征等

六、保存和加载模型

1.仅保存学习到的参数

1.1.保存模型：torch.save(model.state_dict(), PATH)

1.2.调用模型：model.load_state_dict(torch.load(PATH))；model.eval()

2.保存整个model

2.1.保存模型：torch.save(model,PATH)

2.2.调用模型：model = torch.load(PATH)

七、model.eval()和with torch.no_grad()的作用和区别

参考此处
在train模式下，dropout网络层会按照设定的参数p设置保留激活单元的概率（保留概率=p); batchnorm层会继续计算数据的mean和var等参数并更新。

在val模式下，dropout层会让所有的激活单元都通过，而batchnorm层会停止计算和更新mean和var，直接使用在训练阶段已经学出的mean和var值

model.eval()中的数据不会进行反向传播，但是仍然需要计算梯度。
with torch.no_grad()中的数据不需要计算梯度，也不会进行反向传播。

可以看到测试要用model.eval()模式，加上with torch.no_grad()能更节省计算资源。

八、Copy

赋值：内存地址不变，相当于引用，一改都改。
copy.copy()：浅复制，增加元素没影响，但改变共有的元素则原数据也改变。
copy.deepcopy()：深复制，就是完全复制，包括内存地址都是新的。

九、微调

参考此处
什么情况下可以微调呢？
（1） 你要使用的数据集和预训练模型的数据集相似
（2） 自己搭建或者使用的CNN模型正确率太低。
（3）数据集相似，但数据集数量太少。
（4）计算资源太少。
根据自己的数据判断是否需要预训练

针对不同情况，也有不同的微调方式：
数据集1 - 数据量少，但数据相似度非常高 - 在这种情况下，我们所做的只是修改最后几层或最终的softmax图层的输出类别。

数据集2 - 数据量少，数据相似度低 - 在这种情况下，我们可以冻结预训练模型的初始层（比如k层），并再次训练剩余的（n-k）层。由于新数据集的相似度较低，因此根据新数据集对较高层进行重新训练具有重要意义。

数据集3 - 数据量大，数据相似度低 - 在这种情况下，由于我们有一个大的数据集，我们的神经网络训练将会很有效。但是，由于我们的数据与用于训练我们的预训练模型的数据相比有很大不同。使用预训练模型进行的预测不会有效。因此，最好根据你的数据从头开始训练神经网络（Training from scatch）

数据集4 - 数据量大，数据相似度高 - 这是理想情况。在这种情况下，预训练模型应该是最有效的。使用模型的最好方法是保留模型的体系结构和模型的初始权重。然后，我们可以使用在预先训练的模型中的权重来重新训练该模型。

1.冻结

参考此处
冻结就是让某些层不反向传播：

for layer in list(model.parameters())[:]:#这里就写你要要冻结的层
	layer.requires_grad = False #这里不计算梯度
optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.0001)#过滤掉不需要反向传播的层

解冻：

for layer in list(model.parameters())[:]:
    layer.requires_grad = True
	optimizer.add_param_group({'params': layer})

2.修改层

查看model的结构后，得到的是
model(
    (feature):Sequential(
        (0):Conv(
        (conv):Conv2d(3,24,kernel_size=(3,3),stride=(2,2),padding=(1,1),bias=False)
        …
        )
        …
        …
    (fc):Sequantial(
        (0):Dropout(p=0.3,inplace=True)
        (1):Linear(in_features=1792,out_features=1000,bias=True)
        )
    )

比如你要修改fc层，类别从1000改为10：

model.fc = nn.Linear(1792,10)

那么输出的fc层就是
(fc):Sequantial(
    (0):Dropout(p=0.3,inplace=True)
    (1):Linear(in_features=1792,out_features=1000,bias=True)

十、评价指标

参考此处
TP: 预测为1(Positive)，实际也为1(Truth-预测对了)
TN: 预测为0(Negative)，实际也为0(Truth-预测对了)
FP: 预测为1(Positive)，实际为0(False-预测错了)
FN: 预测为0(Negative)，实际为1(False-预测错了)
总样本数为：TP+TN+FP+FN

一般直接看到的是准确率Accuracy=(TP+TN)/(TP+TN+FP+FN)

查准率Precision = TP/(TP+FP)

查全率Recall = TP/(TP+FN)

F1 = 2*(PrecisionRecall)/(Precision+Recall)=2TP/(2*TP+FP+FN)
AR = TP/(TP+FP)

PyTorch深度学习实战（5）——计算机视觉基础
盼小辉丶的博客
07-12 9466
利用神经网络进行图像分析能够自动学习特征、处理非线性关系、具有鲁棒性和泛化能力，并且支持端到端学习和可扩展性，这使其成为当今计算机视觉领域的主要技术手段之一。本节介绍了计算机视觉的基本概念以及图像在计算机中的表示方法，为计算机视觉的高级任务奠定了基础。
计算机视觉卷积神经网络CNN架构设计指南：如何构建高效的视觉模型？
最新发布
CSDN博客专家，系统架构师，有合作、疑惑请私信博主。
04-20 11万+
计算机视觉CNN架构设计指南：如何构建高效的视觉模型？人工智能、大模型、AI、计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已成为主导性的模型架构。从图像分类到目标检测，从语义分割到图像生成，CNN 展现出了强大的性能。构建一个高效的 CNN 视觉模型，不仅需要对其基本原理有深入理解，还需要掌握一系列架构设计技巧。本文将详细探讨如何构建高效的 CNN 视觉模型，涵盖从基础概念到复杂架构设计的各个方面，并通过丰富的代码示例帮助读者更好地理解和实践。
CNN 常用的几个模型 LeNet5 AlexNet VGGNet Google Inception Net 微软ResNet残差神经网络
Dan的专栏
08-23 1万+
LeNet5 LeNet-5：是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。 LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数，如下图所示。  LeNet-5中主要有2个卷积层、2个下抽样层（池化层）、3个全连接层3种连接方式 卷积层  卷积...
CNN基础——卷积神经网络的组成
2401_84011132的博客
04-07 1530
卷积神将网络的计算公式为：其中N：输出大小W：输入大小F：卷积核大小P：填充值的大小S：步长大小举例：in_channels=3:表示的是输入的通道数，由于是RGB型的，所以通道数是3.out_channels=96:表示的是输出的通道数，设定输出通道数的96（这个是可以根据自己的需要来设置的）kernel_size=12:表示卷积核的大小是12x12的，也就是上面的 “F”, F=12stride=4:表示的是步长为4，也就是上面的S, S=4。
卷积神经网络（CNN）详解
zdx2585503940的博客
04-19 4766
卷积神经网络是多层感知机 (MLP)的变种，由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来，视觉皮层的细胞存在一个复杂的构造，这些细胞对视觉输入空间的子区域非常敏感，称之为感受野。CNN由纽约大学的Yann Lecun（杨立昆）于1998年提出(LeNet-5)，其本质是一个多层感知机，成功的原因在于其所采用的局部连接和权值共享的方式：一方面减少了权值的数量使得网络易于优化；另一方面降低了模型的复杂度、减小了过拟合 的风险。当网络的输入为图像时，这些优点将表现地更加明显。2006年，
CNN公式推导
小村长技术blog
06-20 4万+
CNN公式推导 1 前言          在看此blog之前，请确保已经看懂我的前两篇blog【深度学习笔记1(卷积神经网络)】和【BP算法与公式推导】。并且已经看过文献[1]的论文【Notes on Convolutional Neural Networks】。因为本文就是讲解文献[1]论文前部分公式的推导过程这里有一个假设，或许公式是错误的，如有好的理解请留言>。 2 CNN公式推导
cnn算法
weixin_30533797的博客
03-08 1074
机器学习算法完整版见fenghaootong-github 卷积神经网络原理(CNN) 卷积神经网络CNN的结构一般包含这几个层： 输入层：用于数据的输入 卷积层：使用卷积核进行特征提取和特征映射 激励层：由于卷积也是一种线性运算，因此需要增加非线性映射 池化层：进行下采样，对特征图稀疏处理，减少数据运算量。 全连接层：通常在CNN的尾部进行重新拟合，减少特征...
卷积神经网络（CNN）算法详解
极光喵的博客
03-07 1万+
注意：本文引用自专业人工智能社区Venus AI 更多AI知识请参考原站 （[www.aideeplearning.cn]） 引言 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。 对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和
CNN算法
river_19的博客
09-09 887
卷积神经网络： 卷积神经网络与传统网络的区别： 整体架构： 图像颜色通道：每个颜色通道单独进行计算。
卷积神经网络 (CNN) 基本原理和公式
热门推荐
天在那边
01-09 15万+
卷积神经网络(CNN)基本原理和公式推导 卷积神经网络是一种前馈型神经网络, 受生物自然视觉认知机制启发而来的. 现在, CNN 已经成为众多科学领域的研究热点之一, 特别是在模式分类领域, 由于该网络避免了对图像的复杂前期预处理, 可以直接输入原始图像, 因而得到了更为广泛的应用. 可应用于图像分类, 目标识别, 目标检测, 语义分割等等. 本文介绍可用于图像分类的卷积神经网络的基本结构. 深度...
CNN中的注意力机制综合指南：从理论到Pytorch代码实现
loveting99的博客
09-02 1465
卷积神经网络（CNN）作为深度学习中的一种经典模型，广泛应用于图像处理和计算机视觉任务。然而，传统的CNN在捕捉图像中的重要区域和特征时存在一定的局限性。为了克服这些局限，注意力机制被引入到CNN中，以动态地调整对不同区域和通道的关注程度，从而提升模型的性能和表达能力。在本节中，我们将详细定义CNN中的注意力机制，并阐述其在卷积网络中的作用和实现方式。在卷积神经网络（CNN）中引入注意力机制已经成为提升模型性能的关键技术之一。
基于Pytorch的卷积神经网络CNN实例应用及详解
rothschild666的博客
04-16 4956
基于Pytorch的卷积神经网络CNN实例应用及详解 一、卷积神经网络CNN定义 卷积神经网络（CNN，有时被称为 ConvNet）是很吸引人的。在短时间内，它们变成了一种颠覆性的技术，打破了从文本、视频到语音等多个领域所有最先进的算法，远远超出了其最初在图像处理的应用范围。CNN 由许多神经网络层组成。卷积和池化这两种不同类型的层通常是交替的。网络中每个滤波器的深度从左到右增加。最后通常由一个或多个全连接的层组成。 二、卷积神经网络的原理 ...
CNN算法流程详解说明
05-28
这个ppt是对论文《ImageNet Classification with Deep Convolutional Neural Networks》的流程解析，分析了论文里面的重要贡献，对于学习这个网络很有帮助
CNN有关算法介绍
07-14
李宏毅关于CNN卷积神经网络的一些理论知识讲解，适于深度学习入门者。
PyTorch 的并行计算——PyTorch 中文文档
AI天才研究院
08-09 1772
近年来，随着深度学习模型规模和数据集的不断增长，训练时间成为了制约模型性能提升的关键因素。为了加速模型训练，并行计算技术应运而生，并逐渐成为深度学习领域的研究热点。PyTorch 作为一款流行的深度学习框架，提供了丰富的并行计算功能，可以帮助开发者轻松实现模型的并行训练，从而大幅缩短训练时间。实现数据并行，将模型复制到多个 GPU 上，并将数据分发到不同的 GPU 进行计算。实现分布式训练，支持多种后端，如 MPI、Gloo 和 NCCL。
CNN基本公式
机器学习
09-03 3444
http://www.datakit.cn/blog/2016/03/23/bp_cnn.html    cnn基本公式
CNN相关公式
qq_39951635的博客
03-05 411
建议可以先看一下这个问题如何通俗易懂地解释卷积？，会了解的更透彻~（我甚至觉得百度百科都值得探索） 回归正文~记录贴（侵删，感恩） 卷积的物理意义： 系统某一时刻的输出是由多个输入共同作用（叠加）的结果。放在图像分析里，可以理解为原始像素点(source pixel)，所有的原始像素点叠加起来，就是原始图了。 卷积的3个核心思想： 稀疏交互（sparse interactions），即每个节点通过固定个（一般等于卷积核元素的数目，远小于前一层节点数）连接与下一层的神经元节点相连; 尽管是稀...
CNN的计算量和参数量
qq_32172681的博客
08-11 2301
1、计算量公式： C_in*C_out*K*K*H_out*W_out*batchsize。 计算量和图像输出大小有关，和图像输入大小无关，和通道数有关，和卷积核大小有关，和批大小有关。 2、参数量计算公式：C_in*C_out*K*K*batchsize 参数量和channel是有关的，和卷积核大小是有关的，也就是说，多层channel的卷积核是不共享权值的。无论图像大小是多少，每...
CNN中的计算
xgyyxs的博客
10-10 1230
CNN的几个特点 局部感知 参数共享 池化 池化类型 卷积类型 单核单通道卷积 多核单通道卷积 多个卷积核，每个卷积核得到一副特征图像 多核多通道卷积 使用多个卷积核的原因 不同卷积核对应不同特征的响应程度。 如垂直边缘响应、水平边缘响应、倾斜边缘响应、中心斑块响应。 感受野 参考:https://blog.csdn.net/TeFuirnever/article/details/100...
cnn公式
03-09
### 卷积神经网络 (CNN) 的公式推导与解释 #### 前向传播过程中的卷积操作 在卷积层中，输入图像 \( X \in R^{H_{\text{in}} \times W_{\text{in}}} \) 和滤波器（或称为核）\( K \in R^{k_h \times k_w} \)，其中 \( H_{\text{in}}, W_{\text{in}} \) 表示输入的高度和宽度；而 \( k_h, k_w \) 则表示滤波器的高度和宽度。卷积的结果可以被定义为： \[ Z(i,j)=\sum _{{m=0}}^{{k_{{h}}-1}}\sum _{{n=0}}^{{k_{{w}}-1}}X(i+m,j+n)\cdot K(m,n)+b \] 这里 \( b \) 是偏置项[^1]。 为了简化表达，在实际应用中通常会引入零填充（padding），使得输出尺寸保持不变或者按照需求调整大小。另外步幅(stride) s 控制着每次移动的距离，从而影响最终特征图的分辨率。 #### 反向传播过程中误差梯度计算 当涉及到反向传播时，目标是在给定损失函数 L 下更新模型参数 θ 。对于卷积层而言，主要关注的是如何高效地计算相对于权重矩阵 W 和偏差向量 b 的梯度 ∂L/∂W 和 ∂L/∂b ，以及输入激活 A_prev 对应位置上的梯度 ∂A_prev/∂Z 。 假设当前正在处理第 l 层，则有如下关系成立: \[ dA\_prev = W * dZ + pad(0), \quad dB = sum(dZ,axis=(0,1)),\\ dW=\delta ^{(l)}*A^{(l-1)}, \quad db=sum(\delta ^{(l)}) \] 这里的 δ^(l) 表达了本层关于成本 J 的敏感程度即所谓的“残差”，它通过链式法则由后续各层传递而来并乘以前一层输出得到新的 Δ 权重用于修正原有值[^4]。 #### 参数优化方法 一旦获得了上述提到的各种梯度信息之后就可以采用诸如随机梯度下降(SGD)这样的迭代方式来最小化整体的目标函数 E : \[ w := w-\eta\nabla f(w) \] η 称作学习率决定了每一步前进的步伐长度，适当调节该超参有助于加快收敛速度同时避免陷入局部极小点附近震荡不定的情况发生。 ```python import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self): super().__init__() self.conv_layer = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3) def forward(self, x): return self.conv_layer(x) ```
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值