【深度学习】计算机视觉 更新中

最新推荐文章于 2024-09-09 23:51:40 发布
最新推荐文章于 2024-09-09 23:51:40 发布
阅读量152 收藏 1
点赞数 1
分类专栏： 人工智能（未）入门 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27846147/article/details/127717996
版权 
import torch

模型选择

训练误差：在训练集上的误差(train_loss)

泛化误差：在测试集上的误差(test_loss)

验证集：一个用来评估模型好坏的数据集
例如拿出50%的训练数据
不要和训练集混在一起
一定程度上能反映出模型超参数的好坏

测试集：只用一次的数据集。例如
未来的考试
我出价的房子的实际成交价
kaggle私有排行榜的数据集

K-则交叉验证

算法：

  • 将数据分成K块
    For i 1,…, K
    使用第i块作为验证数据集，其余作为训练集
    报告K个验证集误差的平均

常用：K=5或10

过拟合、欠拟合

简单数据、复杂模型 -》 过拟合

复杂数据、简单模型 -》 欠拟合

模型容量：

  • 拟合各种函数的能力
  • 低容量的模型难以拟合训练数据
  • 高容量的模型可以记住所有的训练数据

估计模型容量

  • 难以在不同种类的算法之间比较
  • 给定一个模型种类，将有两个主要因素
    • 参数个数
    • 参数值的选择范围

数据复杂度

多个重要因素

  • 样本个数
  • 每个样本的元素个数
  • 时间、空间结构
  • 多样性

权重衰退 最常见的处理过拟合的方法 （weight Decay）

控制模型容量：

  • 减少模型参数
  • 使模型参数范围变小（权重衰退）

优化的是最小损失函数

  • 加入正则项 ||W||² < θ（硬性限制，用的不多）
  • 通常不限制bias（限制与否差距不大）
  • 小的θ意味着更强的正则项

常用的：使用《均方范数》作为柔性限制

在这里插入图片描述

超参数λ控制了正则项的重要程度

  • λ = 0： 无作用
  • λ 趋近正无穷： w* 趋近 0

在这里插入图片描述

其中η是学习率

总结

  • 权重衰退通过L2正则项使得模型参数不会过大，从而控制模型复杂度
  • 正则项权重是控制模型复杂度的超参

Tips

  • 权重衰退值一般是.1， .01， .001
  • 效果其实不会太好

Dropout

动机

  • 一个好的模型需要对输入数据的扰动鲁棒
  • 使用有噪音的数据等价于Tikhonov正则
  • Dropout：在层之间加入噪音

无偏差的加入噪音

在这里插入图片描述

即期望不变。

Dropout通常用在隐藏全连接层的输出上

在这里插入图片描述

Dropout本质上是一个正则项，只在训练中使用，它们影响模型参数的更新(model.eval())

在推理过程中，Dropout直接返回输入 h = Dropout(h)

这样也能保证确定性的输出

总结

  • 丢弃法将一些输出项随机置为0来控制模型复杂度
  • 常作用在多层感知机(MLP)的隐藏层输出上
  • 丢弃概率p是控制模型复杂度的超参数

Tips

  • 被dropout后，梯度也置0，权重也不更新
  • 提出时，认为是“训练多个小神经网络，再求平均”，但后续实验认为应解释为“正则项”
  • 每迭代一次，dropout一次

数值稳定性

带来的两个问题

  • 梯度爆炸
    • 使用ReLU作为激活函数
    • 带来的问题：
      • 值超过值域，对于16位浮点数尤为严重
    • 学习率敏感
      • 学习率太大 -> 大参数 -> 更大的梯度
      • 学习率太小 -> 训练无进展
      • 可能需要在训练中不断调整学习率
  • 梯度消失
    • 使用sigmoid作为激活函数
    • 带来的问题：
      • 梯度值变为0，对16位浮点数尤其严重
      • 训练没有进展，无论如何选择学习率
      • 对于底层尤其严重。即顶部较好，但无法使神经网络更深。

激活函数

让训练更加稳定

  • 目标：让梯度值在合理的范围内
  • 将乘法变为加法
    • ResNet、Lstm
  • 归一化
    • 梯度归一化、梯度裁剪
  • 合理的权重初始和激活函数

权重初始化

  • 在合理区间内随机初始参数
  • 训练开始时容易有数值不稳定
    • 原理最优解的地方损失函数表面可能很复杂
    • 最优解附近表面会比较平
  • 使用N(0, 0.01)来初始化可能对小网络没问题，但不能保证深度神经网络

LeNet

主要用于手写数字的识别
卷积神经网络之父
在这里插入图片描述

LeNet = torch.nn.Sequential(
        torch.nn.Conv2d(1, 6, kernel_size=5, padding=2, stride=1),
        torch.nn.Sigmoid(),
        torch.nn.AvgPool2d(kernel_size=2, stride=2),
        torch.nn.Conv2d(6, 16, kernel_size=5),
        torch.nn.Sigmoid(),
        torch.nn.AvgPool2d(2),
        torch.nn.Flatten(),
        torch.nn.Linear(16 * 5 * 5, 120),
        torch.nn.Sigmoid(),
        torch.nn.Linear(120, 84),
        torch.nn.Sigmoid(),
        torch.nn.Linear(84, 10)
    )

X = torch.rand(size=(1, 1, 28, 28), dtype=torch.float32)
for layer in LeNet:
    X = layer(X)
    print(layer.__class__.__name__, 'output shape:', X.shape)

Conv2d output shape: torch.Size([1, 6, 28, 28])
Sigmoid output shape: torch.Size([1, 6, 28, 28])
AvgPool2d output shape: torch.Size([1, 6, 14, 14])
Conv2d output shape: torch.Size([1, 16, 10, 10])
Sigmoid output shape: torch.Size([1, 16, 10, 10])
AvgPool2d output shape: torch.Size([1, 16, 5, 5])
Flatten output shape: torch.Size([1, 400])
Linear output shape: torch.Size([1, 120])
Sigmoid output shape: torch.Size([1, 120])
Linear output shape: torch.Size([1, 84])
Sigmoid output shape: torch.Size([1, 84])
Linear output shape: torch.Size([1, 10])

AlexNet

在这里插入图片描述

用于 ImageNet 数据集

赢得2012年ImageNet竞赛

更大更深的LeNet

主要改进：

Dropout
ReLu
MaxPooling
数据增强

计算机视觉方法论的改变

传统
    Dataset -> 人工特征提取(特征工程)(opencv)(专家) -> SVM(传统机器学习分类)
人工智能
    Dataset -> CNN学习特征 -> Softmax回归

AlexNet = torch.nn.Sequential(
    torch.nn.Conv2d(1, 96, kernel_size=11, stride=4, padding=2), torch.nn.ReLU(),
    torch.nn.MaxPool2d(kernel_size=3, stride=2),  #
    torch.nn.Conv2d(96, 128 * 2, kernel_size=5, padding=2), torch.nn.ReLU(),
    torch.nn.MaxPool2d(kernel_size=3, stride=2),
    torch.nn.Conv2d(128 * 2, 192 * 2, kernel_size=3, padding=1), torch.nn.ReLU(),
    torch.nn.Conv2d(192 * 2, 192 * 2, kernel_size=3, padding=1), torch.nn.ReLU(),
    torch.nn.Conv2d(192 * 2, 128 * 2, kernel_size=3, padding=1), torch.nn.ReLU(),
    torch.nn.MaxPool2d(kernel_size=3, stride=2),  # 6*6*256
    torch.nn.Flatten(),
    torch.nn.Linear(6 * 6 * 256, 2048 * 2), torch.nn.ReLU(), torch.nn.Dropout(p=0.5),
    torch.nn.Linear(2048 * 2, 2048 * 2), torch.nn.ReLU(), torch.nn.Dropout(p=0.5),
    torch.nn.Linear(2048 * 2, 1000), torch.nn.ReLU(),
)

X = torch.rand(size=(1, 1, 224, 224), dtype=torch.float32)
for layer in AlexNet:
    X = layer(X)
    print(layer.__class__.__name__, 'output shape:', X.shape)

Conv2d output shape: torch.Size([1, 96, 55, 55])
ReLU output shape: torch.Size([1, 96, 55, 55])
MaxPool2d output shape: torch.Size([1, 96, 27, 27])
Conv2d output shape: torch.Size([1, 256, 27, 27])
ReLU output shape: torch.Size([1, 256, 27, 27])
MaxPool2d output shape: torch.Size([1, 256, 13, 13])
Conv2d output shape: torch.Size([1, 384, 13, 13])
ReLU output shape: torch.Size([1, 384, 13, 13])
Conv2d output shape: torch.Size([1, 384, 13, 13])
ReLU output shape: torch.Size([1, 384, 13, 13])
Conv2d output shape: torch.Size([1, 256, 13, 13])
ReLU output shape: torch.Size([1, 256, 13, 13])
MaxPool2d output shape: torch.Size([1, 256, 6, 6])
Flatten output shape: torch.Size([1, 9216])
Linear output shape: torch.Size([1, 4096])
ReLU output shape: torch.Size([1, 4096])
Dropout output shape: torch.Size([1, 4096])
Linear output shape: torch.Size([1, 4096])
ReLU output shape: torch.Size([1, 4096])
Dropout output shape: torch.Size([1, 4096])
Linear output shape: torch.Size([1, 1000])
ReLU output shape: torch.Size([1, 1000])

VGG 使用块的网络

在这里插入图片描述

13年的冠军

“更深、更大、效果更好”

卷积块的思想
VGG块： 用大量的块堆积起来
3 * 3 卷积 更深
5 * 5 卷积 浅
深但窄 效果更好

对于给定的感受野（与输出有关的输入图片的局部大小），采用堆积的小卷积核是优于采用大的卷积核，因为多层非线性层可以增加网络深度来保证学习更复杂的模式，而且代价还比较小（参数更少）。

不同次数的重复块得到：
VGG-16
VGG-19

VGG 更占内存，更慢，精度更高

使用重复的卷积块来构建深度卷积神经网络

不同的卷积块个数和超参数可以得到不同复杂度的变种

VGG的亮点

1.小卷积核组。作者通过堆叠多个33的卷积核(少数使用11）来替代大的卷积核，以减少所需参数；

2.小池化核。相比较于AlexNet使用的33的卷积核，VGG全部为22的卷积核；

3.网络更深特征图更宽。卷积核专注于扩大通道数，池化专注于缩小高和宽，使得模型更深更宽的同时，计算量的增加不断放缓；

4.将卷积核替代全连接。作者在测试阶段将三个全连接层替换为三个卷积，使得测试得到的模型结构可以接收任意高度或宽度的输入。

5.多尺度。作者从多尺度训练可以提升性能受到启发，训练和测试时使用整张图片的不同尺度的图像，以提高模型的性能。

6.去掉了LRN层。作者发现深度网络中LRN（Local Response Normalization，局部响应归一化）层作用不明显。

在这里插入图片描述

def vgg_block(num_convs, in_channels, out_channels):
    layers = []
    for _ in range(num_convs):
        layers.append(torch.nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1))
        layers.append(torch.nn.ReLU())
        in_channels = out_channels
    layers.append(torch.nn.MaxPool2d(kernel_size=2, stride=2))
    return torch.nn.Sequential(*layers)

def vgg(conv_arch):
    conv_blcks = []
    in_channels = 1
    for (num_convs, out_channels) in conv_arch:
        conv_blcks.append(vgg_block(num_convs, in_channels, out_channels))
        in_channels = out_channels
    return torch.nn.Sequential(
        *conv_blcks, torch.nn.Flatten(),
        torch.nn.Linear(out_channels * 7 * 7, 4096), torch.nn.ReLU(),
        torch.nn.Dropout(0.5), torch.nn.Linear(4096, 4096), torch.nn.ReLU(),
        torch.nn.Dropout(0.5), torch.nn.Linear(4096, 10)
    )

conv_arch = ((1, 64), (1, 128), (2, 256), (2, 512), (2, 512))
VGG = vgg(conv_arch)

X = torch.rand(size=(1, 1, 224, 224), dtype=torch.float32)
for layer in VGG:
    X = layer(X)
    print(layer.__class__.__name__, 'output shape:', X.shape)

Sequential output shape: torch.Size([1, 64, 112, 112])
Sequential output shape: torch.Size([1, 128, 56, 56])
Sequential output shape: torch.Size([1, 256, 28, 28])
Sequential output shape: torch.Size([1, 512, 14, 14])
Sequential output shape: torch.Size([1, 512, 7, 7])
Flatten output shape: torch.Size([1, 25088])
Linear output shape: torch.Size([1, 4096])
ReLU output shape: torch.Size([1, 4096])
Dropout output shape: torch.Size([1, 4096])
Linear output shape: torch.Size([1, 4096])
ReLU output shape: torch.Size([1, 4096])
Dropout output shape: torch.Size([1, 4096])
Linear output shape: torch.Size([1, 10])

NiN 网络中的网络

全连接层的问题

  • 卷积层需要较少的参数 ci * co * k²
  • 但卷积层后的第一个全连接层的参数非常多

NiN的思想就是完全不要全连接层

NiN块

  • 一个卷积层后跟两个全连接层
    • 步幅1，无填充，输出形状和卷积层输出一样
    • 起到全连接层的作用
      NiN架构
  • 无全连接层
  • 交替使用NiN块和步幅为2的最大池化层
    • 逐步减小高宽和增大通道数
  • 最后使用全局平均池化层得到输出
    • 其输入通道数为类别数

总结

  • NiN块使用卷积层加两个1 * 1卷积层，后者对每个像素增加了非线性性
  • NiN使用全局平均池化层来替代Vgg和AlexNet中的全连接层，不容易过拟合，更少的参数个数
赤赤赤赤赤赤
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
计算机视觉-深度学习MATLAB源码
04-07
计算机视觉-深度学习MATLAB源码 深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。 ...
深度学习之计算机视觉总结
09-14
再者，图像分割是计算机视觉中的一个更细粒度的任务，它的目标是将图像划分为多个像素级别的区域，每个区域具有相同的语义标签。语义分割通常使用全卷积网络（FCN）或U-Net等模型来实现。而实例分割则进一步区分同一...
深度学习计算机视觉面试题目
11-11
这些知识点构成了深度学习计算机视觉面试的核心，掌握它们将有助于在面试中表现出色。此外，还需熟悉卷积神经网络（CNN）、池化操作、损失函数、数据增强、模型评估指标等更多主题，以全面理解计算机视觉领域的深度...
基于深度学习的计算机视觉ppt
03-31
作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所 指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官...
计算机视觉-飞桨深度学习实战-学习ppt-1
10-02
学习计算机视觉，不仅要了解其理论基础和历史发展，还要掌握实际操作工具，如OpenCV。OpenCV是一个广泛使用的开源库，支持图像处理和计算机视觉算法，提供了丰富的函数和模块，可以方便地进行图像读取、处理、特征...
深度学习中常见的损失函数
hallo128的博客
09-09 149
损失函数是衡量神经网络输出与真实标签之间差距的指标。在训练过程中，神经网络的目标是最小化损失函数的值。常见的损失函数包括均方误差（MSE）损失函数、交叉熵（Cross-Entropy）损失函数等。损失函数的选择取决于任务的需求和输出数据的类型。这些损失函数各有特点，适用于不同的场景和问题。在实际应用中，需要根据具体任务和数据集的特点来选择合适的损失函数。
每天五分钟玩转深度学习PyTorch：获取神经网络模型的子网络模型
最新发布
huanfeng_AI的博客
09-09 63
本文主要为第二步（模型搭建）和第六步（优化器）服务，因为子网络是网络模型的一部分，我们如何获取自网络，需要了解网络的模型结构，然后再优化器部分我们需要获取指定网络模型部分的模型参数，所以本节课程很重要。
Transformer、RNN和SSM的相似性探究：揭示看似不相关的LLM架构之间的联系
deephub
09-09 512
本文深入探讨了Transformer、循环神经网络（RNN）和状态空间模型（SSM）之间的潜在联系。文章首先回顾了传统的掩码自注意力机制，然后引入了线性化注意力的概念，解释了其计算效率优势。接着探讨了注意力掩码的优化，引入了半可分离矩阵的概念，并阐述了其与状态空间模型的关系。最后介绍了状态空间对偶性，揭示了特定状态空间模型与掩码注意力之间的对应关系。通过这些分析，展示了看似不同的模型架构之间存在深层联系，为未来模型设计和跨架构思想交流提供了新的视角和可能性。作者：Stanislav Fedotov。
COI实验室技能：图像到图像的深度学习开发框架（pytorch版）
小山山的博客
09-06 952
这个开发框架旨在帮助科研人员快速地实现图像到图像之间的模型开发。
《深度学习》【项目】OpenCV 信用卡号识别
wx_AHao1004Y的博客
09-09 901
命令行参数自定义命令行参数是指在编写命令行程序时，由程序开发者定义并期望用户通过命令行界面（CLI）输入的参数。这些参数允许用户向程序传递额外的信息或配置，以便程序能够根据这些信息执行不同的操作或行为。在Python中，使用argparse模块可以方便地定义和解析自定义命令行参数。argparse模块提供了丰富的功能来定义参数的类型、默认值、是否必需等属性，并能够在用户没有按预期提供参数时给出友好的帮助信息。1）位置参数（Positional Arguments）位置参数是按照位置顺序提供的参数。
【深度学习】【onnxruntime】C++调用onnx
yangyu0515的博客
09-09 858
【深度学习】【onnxruntime】C++调用onnx
【深度学习 Pytorch】深入浅出：使用PyTorch进行模型训练与GPU加速
赖德发的博客
09-06 456
PyTorch是一个开源的机器学习库，它提供了丰富的API来构建深度学习模型。它支持动态计算图，使得研究人员能够更加灵活地实现复杂的算法。通过本文，我们了解了如何在PyTorch中保存和加载模型，以及如何利用GPU进行加速训练。这些技能对于深度学习实践者来说是必不可少的。记住，实践是最好的学习方式，尝试在你的项目中应用这些技巧，以加深你对PyTorch的理解。
李沐深度学习 自制数据集
qq_54206667的博客
09-09 118
'.'生成在当前目录中。
[【人工智能学习笔记】4_3 深度学习基础之卷积神经网络
RIKI_1
09-09 461
卷积神经网络（Convolutional Neural Network, CNN）一种带有卷积结构的深度神经网络，通过特征提取和分类识别完成对输入数据的判别；在1989年提出，早期被成功用于手写字符图像识别；2012年更深层次的AlexNet网络取得成功，伺候卷积神经网络被广泛应用于各个领域。
基于深度学习的信号滤波：创新技术与应用挑战
XU157303764的博客
09-09 833
多尺度频域分析是一种将信号在不同频率尺度上进行分解和分析的方法。它通过使用特定的变换工具，如小波变换、多分辨率分析等，将信号分解为不同频率和时间尺度的成分。这种方法在多个领域都有着广泛的应用。在图像处理领域，多尺度频域分析可以用于图像去噪、边缘检测、图像压缩等。例如，通过小波变换可以将图像分解为不同尺度的小波系数，其中低频系数代表图像的大致轮廓和主要信息，高频系数则代表图像的细节和边缘信息。通过对不同尺度的系数进行处理，可以实现图像的去噪和增强。
Unet改进30：添加CAA(2024最新改进方法)|上下文锚定注意模块来捕获远程上下文信息。
m0_51530640的博客
09-09 198
遥感图像中的目标检测经常面临一些日益严峻的挑战，包括目标尺度的巨大变化和不同的测距环境。先前的方法试图通过大核卷积或扩展卷积来扩展主干的空间感受野来解决这些挑战。然而，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。在本文中，我们引入聚核初始网络(PKINet)来解决上述挑战。PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。此外，还并行引入了上下文锚定注意(CAA)模块来捕获远程上下文信息。
【深度学习】线性回归的从零开始实现与简洁实现
Douglas的博客
09-05 536
想想之前学过的拟合，可以用线性拟合，也可以用二次曲线拟合，都是为了将输入与输出关联起来。可以把模型理解为一个函数，把输入放进去，可以得到一个输出。我们通过对原始数据的可视化分析，选取线性模型。# 定义模型# 线性模型在从零实现中，我们明确定义了线性模型的参数，并编写了内部进行计算的代码。如果模型的计算变得复杂，并且每天需要经常使用时，我们就会考虑对这一过程进行简化。我们可以使用 pytorch 预先定义好的“层”，这样我们就只需要关注使用哪些层来构建我们的模型，而不用去关注怎么实现这个层。
基于深度学习的对抗鲁棒性增强
weixin_42605076的博客
09-04 926
基于深度学习的对抗鲁棒性增强方法在不断进化，通过对抗训练、模型正则化、输入预处理、模型集成、元学习和自适应防御等多种策略，大大提升了深度学习模型的安全性和可靠性。未来，随着新技术的引入和研究的深入，模型的对抗鲁棒性将得到进一步提升，为各类应用场景提供更加稳健的保障。
卷积神经网络(二)CIFAR100类别分类
m0_73426548的博客
09-06 527
总共一百个类，每个类有600个图像。每类500个训练图像，100个测试图像。没填图像都带有一个"精细"标签（它所属的类）核一个粗糙标签（它所属的超类）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赤赤赤赤赤赤

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值