第八章 卷积神经网络CNN

已于 2024-08-20 19:09:27 修改
阅读量1.1k 收藏 15
点赞数 25
分类专栏： PyTorch 文章标签： cnn 人工智能 神经网络 深度学习 pytorch
于 2024-08-20 08:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44063529/article/details/141287697
版权

文章目录

一、卷积神经网络

1.1 图片的数据格式

通常是3通道的RGB图
在这里插入图片描述

  • 由于全连接层处理图片这种数据量较大的数据时，会需要学习到很大的参数，考虑到计算机硬件的配置，应该使用卷积处理
    在这里插入图片描述

1.2 卷积原理

  • 创建卷积核，使其作为输入的共享权重，执行卷积操作，以此减少参数量
    在这里插入图片描述

  • 卷积操作
    在这里插入图片描述

  • 卷积操作考虑的是局部的输入数值
    在这里插入图片描述

  • 信号处理的卷积过程
    在这里插入图片描述

1.3 卷积层

在这里插入图片描述

  • 可设置 same(设置padding以保持卷积前后图片尺寸不变) 与 valid(不设置padding，卷积后图片变小) 卷积
    在这里插入图片描述

注：① input_channels：表示输入特征图的通道数（输入层一般为RBG_num=3）
② Kernel_channels：a)表示与input_channels对应的数量；b)>表示卷积核的个数
③ Kernel_size：表示卷积核的尺寸
④ Stride：表示卷积步长
⑤ Padding：表示使用same卷积时的边缘填充大小

  • 实际卷积场景举例
    在这里插入图片描述

  • pytorch实现卷积层
    nn.Conv2d(input_channel，kernel_num，kernel_size，stride，padding)
    ① input_channel：输入特征图通道数
    ② kernel_num：卷积核个数
    ③ kernel_size：卷积核尺寸
    ④ stride：卷积步长
    ⑤ padding：填充大小
    在这里插入图片描述

注意：pytorch提供 out = layer(x) 的实现方式，尽量不使用forward()方法
在这里插入图片描述

1.4 池化层

在这里插入图片描述

  • 池化层实现对卷积后的数据进行降采样，一般取size=2,stride=2，这样就是减少一半的数据
    在这里插入图片描述

在这里插入图片描述

  • pytorch实现池化层
    在这里插入图片描述

  • 上采样的原理与pytorch实现
    上采样：即使用最近邻内插法、双线性内插法、双三次内插法实现特征图放大
    在这里插入图片描述

  • F.interpolate(input,scale_factor,mode)
    ① input：输入特征图tensor
    ② scale_factor：放大倍数
    ③ mode：上采样方式（‘nearest’，‘bilinear’，‘bicubic’）
    在这里插入图片描述

  • ReLu激活函数接入在池化层之后
    注：标准的CNN网络，各层接法如下：
    卷积层 + BN + 池化层 + ReLu
    or
    卷积层 + BN + ReLu + 池化层
    在这里插入图片描述

  • pytorch实现
    在这里插入图片描述

1.5 BatchNorm

对输入值进行批量归一化，从而控制激活函数输出在有效梯度范围内，从而提高学习效率
在这里插入图片描述

在这里插入图片描述

  • transforms.Normalize()可以实现设定分布的的归一化处理
    在这里插入图片描述

  • Batch Norm：实际上是对batch中各tensor的对应channel上数据进行归一化操作
    在这里插入图片描述

  • batch Norm中涉及仿射过程， γ \gamma γ、 β \beta β是需要学习的参数
    在这里插入图片描述

  • pytorch实现BatchNorm
    ① nn.BatchNorm1d(channel)适用于一维数据的归一化
    a) channel：即输入通道数
    在这里插入图片描述

在这里插入图片描述

② nn.BatchNorm2d(channel)适用于二维数据的归一化
a) channel：即输入通道数
layer.weight 对应 γ \gamma γ
layer.bais 对应 β \beta β
在这里插入图片描述

③ nn.BatchNorm1d()、nn.BatchNorm2d()中的参数意义
a) affine：表示是否引入 γ \gamma γ、 β \beta β做仿射变换（True or False）
b) eps：表示设置使归一变换中使分母不为0的最小值
c) momentum：动量值，默认为0.1
d) track_running_stats：是否追踪训练过程
e) training：表示是否处于训练过程（True or False）
在这里插入图片描述

  • 在测试过程中，由于没有batch（批量）输入，因此需要手动的关闭BatchNorm1d\BatchNorm2d的功能，layer.eval()。同时，Test过程的BatchNorm会使用全部量做归一化
    在这里插入图片描述

  • BatchNorm效果可视化展示
    在这里插入图片描述

  • 总结
    使用BatchNorm的优点
    ① 收敛速度更快
    ② 更好的表现（得到更好的最优解）
    ③ 更加稳定
    在这里插入图片描述

二、经典卷积神经网络

在这里插入图片描述

2.1 LeNet-5

在这里插入图片描述

2.2 AlexNet

在这里插入图片描述

2.3 VGG

提出 1*1、3*3 作为更有效的卷积大小
在这里插入图片描述

2.4 GoogLeNet-2

使用 1*1 的kernel可以减小特征图的channel数，减少参数量
在这里插入图片描述

  • 单元结构
    在这里插入图片描述

  • 网络结构
    在这里插入图片描述

2.5 ResNet

在这里插入图片描述

在这里插入图片描述

2.6 网络结构发展

在这里插入图片描述

在这里插入图片描述

  • pytorch实现ResNet
    在这里插入图片描述

2.7 DenseNet

在这里插入图片描述

三、nn.Moudule类

在这里插入图片描述

在这里插入图片描述

  • 使用继承nn.Module的好处
    ① 可以使用众多的 nn 下的模型块组件(均是nn.Module的子类)
    在这里插入图片描述

② nn.Sequential提供容器化组建各个模型块的方式
注：在nn.Sequential()内即可以写入已有的模块(nn下的模块)，同时也可以写入用户自定义实现的继承自nn.Moudle的类
在这里插入图片描述

③ net.parameters() 返回所有的学习参数，便于管理
在这里插入图片描述

④ 自定义继承nn.Module类
在这里插入图片描述

在这里插入图片描述

⑤ 定义使用CPU、GPU加速
在这里插入图片描述

⑥ save and load
提供定时保存学习过程中的中间状态
在这里插入图片描述

⑦ train/test
a) 使用net.train() 可以开启模型训练
b) 使用 net.eval() 可以将模型从 train 向 test 进行切换
在这里插入图片描述

⑧ 应用自定义层
在这里插入图片描述

  • 应用 nn.Parameter()可以自动的将要学习的参数添加进自定义模型中，在optim.SGD()中传入的net.parameter()会包含自定义的参数
    在这里插入图片描述

四、数据增强

通过一系列的变换，扩充数据集
在这里插入图片描述

  • 数据增强的方式
    ① 翻转
    ② 旋转
    ③ 随机捕捉
    ④ GAN
    在这里插入图片描述

4.1 翻转

在这里插入图片描述

  • pytorch实现
    在传入参数中使用：
    ① transforms.RandomHorizontalFlip()调整图像水平翻转
    ② transforms.RandomVerticalFlip()调整图像竖直翻转
    在这里插入图片描述

4.2 旋转

在这里插入图片描述

  • pytorch实现
    在传入参数中使用：transforms.RandomRotation()调整图像旋转角度
    a) 传入数值var，表示(-var,var)角度范围内随机旋转
    b) 传入list，表示随机对图片进行选定值的旋转
    在这里插入图片描述

4.3 缩放

在这里插入图片描述

  • pytorch实现
    在传入参数中使用：transforms.Resize([w,h])调整缩放大小
    在这里插入图片描述

4.4 裁剪

在这里插入图片描述

  • pytorch实现
    在传入参数中使用：transforms.RandomCrop([w,h])选择裁剪区域大小
    在这里插入图片描述

4.5 加入白噪声

在这里插入图片描述

ModelBulider
关注
专栏目录
基于FPGA的一维卷积神经网络CNN的实现（一）框架
Crazzy_M的博客
11-23 2万+
理论建立与效果展示 正在写。。。 环境：Vivado2019.2。 Part：xcku040-ffva1156-2-i，内嵌DSP个数 1920个，BRAM 600个也就是21.1Mb。 说明：通过识别加高斯白噪声的正弦波、余弦波、三角波较简单的实例来利用FPGA实现一维CNN网络，主要是实现CNN网络的搭建。 也就是将下列数据传输至FPGA，识别出下面哪些是正弦波、余弦波、三角波，通过简单实例实践，在融会贯通。 实现流程： 训练参数：通过pytorch对10000个训练集进行训练获得训练参数，反向计算不
深度学习之卷积神经网络（8）BatchNorm层
weixin_43360025的博客
10-02 3401
深度学习之卷积神经网络（8）BatchNorm层BatchNorm层概念BatchNorm层实现1. 向前传播2. 反向更新3. BN层实现4. 完整代码 卷积神经网络的出现，网络参数量大大减低，使得几十层的深层网络称为可能。然而，在残差网络出现之前，网络的加深使得网络训练变得十分不稳定，甚至出现网络长时间不更新甚至不收敛的现象，同时网络对超参数比较敏感，超参数的微量扰动也会导致网络的训练轨迹完全改变。  2015年，Google研究人员Sergey Ioffe等提出了一种参数标准化（Normalize）的
神经网络：卷积神经网络中的BatchNorm
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
02-14 1775
在机器学习中让输入的数据之间相关性越少越好，最好输入的每个样本都是均值为0方差为1。在输入神经网络之前可以对数据进行处理让数据消除共线性，但是这样的话输入层的激活层看到的是一个分布良好的数据，但是较深的激活层看到的的分布就没那么完美了，分布将变化的很严重。这样会使得训练神经网络变得更加困难。所以添加BatchNorm层，在训练的时候BN层使用batch来估计数据的均值和方差，然后用均值和方差来标准化这个batch的数据，并且随着不同的batch经过网络，均值和方差都在做累计平均。
一文弄懂CNN中的BatchNorm
sgzqc的专栏
11-20 1097
BatchNorm是2015年提出的网络层，这个层具有以下特性：易于训练：由于网络权重的分布随这一层的变化小得多，因此我们可以使用更高的学习率。我们在训练中收敛的方向没有那么不稳定，这样我们就可以更快地朝着loss收敛的方向前进。提升正则化：尽管网络在每个epoch都会遇到相同的训练样本，但每个小批量的归一化是不同的，因此每次都会稍微改变其值。提升精度：可能是由于前面两点的结合，论文提到他们获得了比当时最先进的结果更好的准确性。
李理：卷积神经网络之Batch Normalization的原理及实现
qunnie_yi的博客
03-03 9594
本系列文章面向深度学习研发者，希望通过Image Caption Generation，一个有意思的具体任务，深入浅出地介绍深度学习的知识。本系列文章涉及到很多深度学习流行的模型，如CNN，RNN/LSTM，Attention等。本文为第10篇。 作者：李理 目前就职于环信，即时通讯云平台和全媒体智能客服平台，在环信从事智能客服和智能机器人相关工作，致力于用深度学习来提高智...
卷积神经网络 Batch Normalization作用与原理
liuxiangxxl的博客
12-25 5617
tensorflow中的BN的计算过程模型图 　　为了activation能更有效地使用输入信息，所以一般BN放在激活函数之前。 　　一个batch里的128个图，经过一个64 kernels卷积层处理，得到了128×64个图，再针对每一个kernel所对应的128个图，求它们所有像素的mean和variance，因为总共有64个kernels，输出的结果就是一个一维长度64的数组啦！最后输...
卷积神经网络CNN.pdf
04-05
卷积神经网络（CNN）是一种高效的识别方法，近年来发展起来，并引起广泛重视。卷积神经网络（Convolutional Neural Networks，简称 CNN）是由 Hubel 和 Wiesel 在 1962 年提出的，它可以有效地降低反馈神经网络的...
卷积神经网络（CNN）在无人驾驶中的应用
02-25
本文是无人驾驶技术系列的第八篇，深入介绍CNN（卷积神经网络）在无人驾驶3D感知与物体检测中的应用。卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种适合使用在连续值输入信号上的深度神经网络，比如声音、...
verilog实现卷积神经网络CNN，包括卷积层，Relu激活层，FC全连接层，pool池化层
04-22
卷积神经网络（CNN）是深度学习领域中的关键模型，特别是在图像识别和处理任务中表现卓越。本项目采用Verilog语言实现了一个完整的CNN框架，涵盖了CNN的四个核心组成部分：卷积层、ReLU激活层、全连接层（FC）以及...
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
Caffe下卷积神经网络中的一些特殊层
时光杂货店
09-21 1万+
实验中接触到的卷积神经网络（CNN）中的一些比较有用的层（Caffe下），特此做个记录
【深度学习】卷积神经网络中Dropout、BatchNorm的位置选择
无极阁
04-28 1万+
卷积神经网络的设计自然要考虑到各层之间的顺序。这种“考虑”既有原理性的解释也有经验方面的原因。本文主要介绍一些层常见的位置选择，并对其原因进行分析，从中提取共性有利于其他模型的设计。
pytorch学习--卷积神经网络，BatchNorm，残差网络
bit_codertoo的博客
12-21 1236
文章目录卷积 卷积
（笔记）卷积神经网络中的BatchNorm和Dropout
Hanlin的博客
03-10 1518
BatchNorm归一化网络激活函数，使他们的均值和标准差都为0，同时在训练时计算并更新数据的Mean和Var等参数。 Dropout通过在一个层中为神经元引入独立的随机门来构造独立的激活函数，允许神经元以概率p输出其值，否则输出0来停用它们。 Dropout在训练时采用，是为了减少神经元对部分上层神经元的依赖，类似将多个不同网络结构的模型集成起来，减少过拟合的风险。 在BatchNorm提出以后，就很少看到流行的深度学习模型同时采用BatchNorm和Dropout。 ...
卷积神经网络CNN（2）—— BN(Batch Normalization) 原理与使用过程详解
Fate_fjh的博客
11-28 10万+
Batch Normalization是由google提出的一种训练优化方法。网上对BN解释详细的不多，大多从原理上解释，没有说出实际使用的过程，这里从what, why, how三个角度去解释BN。
3.5 CNN卷积神经网络基础知识-批归一化Batch Normalization(百度架构师手把手带你零基础实践深度学习原版笔记系列)
aiAI
10-14 1434
3.5CNN卷积神经网络基础知识-批归一化Batch Normalization(百度架构师手把手带你零基础实践深度学习原版笔记系列) 批归一化（Batch Normalization） 批归一化方法方法（Batch Normalization，BatchNorm）是由Ioffe和Szegedy于2015年提出的，已被广泛应用在深度学习中，其目的是对神经网络中间层的输出进行标准化处理，使得中间层的输出更加稳定。 通常我们会对神经网络的数据进行标准化处理，处理后的样本数据集满足均值为...
英语写作中“限制”“抑制”confine restrain restraint 的用法
最新发布
michel_2010的博客
10-25 471
Mobile phones restrain background noise effectively，thereby boosting communication quality.（手机有效地抑制了背景噪声，提高了通话质量。In communication, the goal of filtering is essentially noise restraint.（在通信中，滤波的目的本质上是噪声抑制。一、confine（限制）在科技写作中与restrict同义，用法也相同：confine……
微信公众号推文，关于LLM等
Jude_ye的博客
10-24 437
超强！深度学习Top10算法！Agent调研–19类Agent框架对比万字解读AI Agent架构体系，API和RPA将成为重点苹果加入战局，携 300 亿参数的 AI 大模型 MM1 “炸场”！使用Pytorch从零实现Transformer模型ResNet最新变体！性能反超Transformer，模型准确率达98.42%GNN与Transformer创新结合！模型性能起飞！24年最好发论文的方向： 魔改Mamba！（附源码）结合Transformer与Mamba，Jamba来了！新架构Mamba更新二代
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ModelBulider

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值