卷积神经网络 II（Convolutional neural networks II）

已于 2023-08-21 10:44:39 修改
阅读量237 收藏 1
点赞数 1
分类专栏： 计算机视觉 文章标签： cnn 人工智能 神经网络
于 2023-08-21 10:33:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77255300/article/details/132391939
版权

目录

降采样（Downsampling）

卷积神经网络中的降采样（Downsampling）

  • 通常对卷积层的输出进行降采样。
  • 减少输出大小和后续层中所需的计算次数。
  • 还可以提高对平移的容忍度（tolerance） - 输入的微小变化不会改变降采样的输出。

降采样是将数据从一个高的采样率减少到一个低的采样率的过程。在图像处理中，降采样通常指的是减少图像的尺寸，这意味着去除图像中的某些像素以得到一个更小的版本。降采样的主要目的是减少数据量和计算复杂性，但可能会丢失某些细节信息。

胯步卷积（Strided convolution）

  • 卷积步长 = 连续卷积窗口之间的距离。
  • 在CNN中，步长可以大于1。
  • 假设没有填充：
    • 输出大小 = ceil((输入大小 - 核大小 + 1) / 步长)。
  • 有填充时：
    • 输出大小 = ceil(输入大小 / 步长)。

ceil：向上取整。也就是说，它将任何给定的数值取整到最接近的整数，但该整数不小于该数值。

优势和劣势

优势：

  • 高效 (Efficient): 较大的步长意味着更少的卷积操作。

劣势：

  • 卷积窗口会跳过图像的部分区域，因此可能会错过重要的图像特征。

最大池化（Max pooling）&& 平均池化（Average pooling）

请添加图片描述

最大池化

  • 经过卷积后，每个激活图都被单独进行降采样。

  • 最大池化的步长决定了降采样的程度（输出大小 = 输入大小/步长）。

请添加图片描述

在激活图的给定窗口中，取最高值并丢弃其余的值。

请添加图片描述
经过 Max Pooling 之后：

在这里插入图片描述

平均池化

在激活图的给定窗口中，计算值的平均数。

请添加图片描述

经过 Average pooling 后：

在这里插入图片描述

优势和劣势

优势：

  • 与跨步卷积或平均池化相比，最大池化更有可能保留最重要的特征。

劣势：

  • 平均池化会“模糊”特征；可能会丢失重要的特征。
  • 池化的速度比跨步卷积慢。

小结

  • 在CNN中，降采样是常见的，目的是为了使后续层的计算更加高效并增加平移不变性。
    • Make computation more efficient in later layers
    • Increase translation invariance
  • 包括的方法有跨步卷积、最大池化和平均池化。

卷积神经网络中的正则化（Regularisation）

  • 由于参数数量极多，即使在大型数据集上，CNN也容易出现过拟合现象。
  • 通常需要正则化来减少过拟合。
  • 常见的选择有：
    • L1或L2正则化
    • Dropout（随机失活）
    • 提前停止（Early stopping）

L1，L2 正则化

  • 为损失函数添加一个额外的项，以鼓励网络参数取较小的值。
  • L1正则化增加了这样的项： ∑ i ∣ θ i ∣ \sum_i|\theta_i| ∑i​∣θi​∣
    • 对所有参数的绝对值进行惩罚之和 (Penalise the sum of the absolute value of all parameters);
    • 鼓励稀疏 (sparse) 表示 - 许多参数应为0。
  • L2正则化增加了这样的项： ∑ i θ i 2 \sum_i \theta_i^2 ∑i​θi2​
    • 对所有参数的平方值进行惩罚之和 (Penalise the sum of the squares of all parameters);
    • 鼓励参数取小的值（但不是0）。

它们都用于防止神经网络过拟合，并确保网络参数不会变得过大。

  • 在添加正则化时的自由参数（Free parameters）：

    • 正则化项与损失函数中的其他项相比，应给予多少权重。
      • 如果你给予正则化项太大的权重，模型可能会过度约束，导致欠拟合。
      • 如果权重太小，则正则化效果可能不明显，模型仍可能过拟合。
    • 在正则化中应包含哪些层 - 是所有层还是仅后面的层？
      • 有时，仅对模型中的某些层应用正则化就足够了，特别是对于那些有大量参数的层，如全连接层。
      • 有时，对所有层进行正则化可能是有益的，尤其是当我们怀疑整个网络都可能过拟合时。
    • 应包含哪些参数 - 有时只包括权重，不包括偏差。
      • 因为权重通常是模型中的主要参数，而偏置较少。

  • 添加正则化往往会减慢训练速度 (Adding regularisation tends to slow down training)。

  • 过多的正则化可能会导致欠拟合 (Too much regularisation can result in underfitting)。

Dropout

请添加图片描述

概念：

  • 随机丢弃（discard）一些神经元（设置输出=0）
  • 强迫神经元独立于彼此寻找有用的特征（Forces neurons to find useful features independently of each other）
  • 实际上，可以并行训练多个结构（Effectively, trains multiple architectures in parallel）
  • 要丢弃的神经元百分比是一个可调的参数（例如，丢弃50%或丢弃20%）
  • 可以应用于所有层，或仅应用于后面的层
  • 不同的层可以应用不同的丢弃百分比 — 通常后面的层会有更多的丢弃率
  • 添加dropout会使训练速度变慢
  • Dropout只在训练中使用 — 当在新数据上评估网络（验证/测试）时，所有神经元都是活跃的。

提早停止（Early stopping）

  • 当网络出现过拟合的迹象时停止训练；
  • 监控在验证集（validation set） 上的表现：
    • 验证集是一个未在训练中看到并且不包含在测试集内的数据子集；
    • 在训练过程中，定期检查模型在验证集上的表现 — 表现下降可能意味着过拟合；
  • 通过使网络参数接近其初始值（通常接近0）来鼓励网络参数取小的值

小结

  • 正则化通常是为了防止过拟合所必需的
  • 常见的方法包括：L1 或 L2 正则化、dropout 和早停策略
  • 对于给定的优化问题，哪种方法（或组合）最有效通常并不明确，因此常见的做法是进行实验并结合它们使用。

Training an Image Recognition CNN

CNN 概览

  • 典型的图像识别架构包括：
    • 若干数量的卷积层，伴随着下采样
    • 一个或多个全连接层
    • 使用交叉熵损失的Softmax输出
  • 基本思路：
    • 在卷积层中进行特征嵌入feature embedding（将图像从像素转化为有用的高级特征）
    • 全连接层（Fully-connected layers）实际上是一个线性分类器（或MLP），用于从高级特征预测类别。

请添加图片描述

损失函数：Softmax

  • 对最后一层的输出应用Softmax函数：

σ ( y i ) = e y i ∑ j = 1 N e y j \sigma(y_i) = \frac{e^{y_i}}{\sum^N_{j=1}e^{y_j}} σ(yi​)=∑j=1N​eyj​eyi​​

  • 这生成了一个向量，具有概率分布的属性：
    • 所有值的范围在0-1之间
    • 值的总和为1

请添加图片描述

损失函数：交叉熵损失（Cross-entropy loss）

  • 衡量模型预测的概率分布与实际概率分布之间的差异。（Measure of the difference between the model and
    ground truth probability distributions）请添加图片描述
  • 预测类别与真实类别之间的交叉熵损失：

在这里插入图片描述

训练过程（Training process）

  1. 将数据划分为训练/验证/测试集
  2. 将训练数据分为多个批次
  3. 对于 N = 1 - ?
    • 预处理一批图像数据（Preprocess a batch of image data）
    • 对批次进行分类，计算损失（Classify batch, compute loss）
    • 通过反向传播更新模型参数（Update model parameters with backprop）
  4. 定期检查训练模型在验证集上的性能（用于提前停止）

图像预处理（Data preprocessing）

Image whitening (图像白化): 将每张图像缩放到0-255的范围，然后归一化，使得每个像素的均值为0，（可选的）标准差为1。主要用于预处理图像数据以便于神经网络更好地学习特征。

请添加图片描述

数据增强（Data augmentation）

  • 操纵训练数据以生成更多样本
  • 如果不进行数据增强，即使是较小的网络（例如，AlexNet）也会在ImageNet上出现过拟合。

常见方法包括：

  • 随机裁剪（例如，从256 x 256的图像裁剪出224 x 224的图像）
  • 水平反射
  • 小的颜色/对比度调整（模拟不同的相机设置或一天中的不同时刻）

不太常见的方法包括：

  • 随机旋转（例如，正负15度）——较慢
  • 随机缩放——较慢
  • 随机遮挡物

目的是通过对原始图像做些微变化来增加数据多样性，从而增强模型的泛化能力。

不包括的一些变化：

  • 垂直反射（Vertical reflection）：对于大多数常见的图像分类任务，垂直翻转可能不会增加有意义的变化。例如，翻转猫或狗的图片可能会产生一个不太自然的图像。然而，对于某些任务，例如卫星图像处理，垂直翻转可能是有意义的。
  • 大的颜色变化：在大多数真实世界的应用中，图像的自然颜色和照明条件是很重要的。过大的颜色变化可能会导致生成的图像不再代表真实世界的场景。例如，一个完全红色的树叶可能不是很常见，因此在训练时添加这种强烈的颜色变化可能并不实用。此外，过大的颜色变化可能会导致模型在真实世界的数据上的表现下降。

训练过程（Training process）

  1. 初始化网络权重和偏差：
    • 通常，权重初始化为来自高斯分布的、围绕零的小值。
    • 偏差初始化为零或小的正值。
  2. 设置训练参数：
    • 批次大小（Batch size）
    • 优化器（Optimiser）
    • 学习率及其衰减（Learning rate + decay）
  3. 监控训练和验证损失：
    • 观察模型在训练集和验证集上的性能，确保模型没有过拟合并且正在学习。

当验证损失不再下降时停止训练：这通常是一个早停准则，当模型在验证集上的性能不再提高时，停止训练可以防止过拟合。

批次大小（Batch Size）

  • Batch size (or mini-batch size)：用于计算参数更新梯度的训练数据部分。
  • 直接使用整个数据集计算每次更新是不切实际的：从计算的角度看，使用整个数据集进行每次的参数更新可能需要非常大的计算资源和时间。
  • 数据集随机分为N个大小为b的批次：这意味着每次更新使用的是数据的一个小子集而不是整个数据集。
  • N次更新 = 1个周期（每张图片已经被查看一次）：一个周期意味着模型已经看过整个数据集一次。多个周期的训练意味着模型多次遍历了整个数据集。

Smaller batch size

  • 更多的更新（More updates）：虽然每次更新的计算速度会更快。
  • 更新更嘈杂（Noisier updates）：在梯度上会有高的方差。

Larger batch size

  • 更新更少：但每次更新需要更长的计算时间。
  • 更新更稳定：梯度的方差更小，导致更新方向更稳定。

批次大小往往受到内存限制：较大的批次需要更多的计算资源，尤其是内存。因此，在实践中选择的批次大小通常取决于可用的硬件资源，尤其是GPU或CPU的内存。

优化器（Optimiser）

  • Stochastic Gradient Descent (SGD) – 随机梯度下降
    • 一种常见的优化方法，每次仅使用一个样本来估计梯度并更新模型参数。
  • Root Mean Square Propagation (Rmsprop)
    • 一个自适应的学习率方法，通过平均过去梯度的平方来调整学习率。
  • Adaptive moment estimation (Adam)
    • 保持梯度/梯度平方的移动平均值来划分学习率
    • 与SGD维持一个对所有梯度都相同的单一学习率不同，这些方法可以为每个参数独立地调整学习率，尤其是在训练过程中的不同阶段。

学习率 + 衰减（learning rate + decay）

  • 学习率：每次更新时网络参数变化的程度。
    • 学习率过高 - 训练不稳定。
    • 学习率过低 - 学习速度非常慢。

请添加图片描述

训练时间有多长？

通常，训练直到模型在验证集上的性能不再提高。
请添加图片描述

XiaoLinzzz
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
深度卷积神经网络_深度卷积神经网络中的降采样
weixin_39657444的博客
12-06 389
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“”立刻申请入群~作者 |mileistone来源 |https://zhuanlan.zhihu.com/p/46633171已获作者授权，请勿二次转载降采样指的...
【目标检测重思考系列】三、深度卷积神经网络中的降采样
zl3090的博客
04-06 1028
本文转载自：https://zhuanlan.zhihu.com/p/46633171 降采样指的是成比例缩小特征图宽和高的过程，比如从（W，H）变为（W/2，H/2）。深度卷积神经网络中降采样的方法主要有三种： 1、stride大于1的pooling 2、stride大于1的conv 3、stride大于1的reorg（在YOLOv2的论文里叫passthrough layer） 其中...
深度学习（7）卷积神经网络
great_yzl的博客
09-25 823
一、卷积神经网络整体介绍 1、卷积层：提取图像底层特征 2、池化层：防止过拟合，且将数据维度减小 3、全连接层：汇总卷积层和池化层得到的图像的底层的特征和信息 4、最后进行输出 二、卷积 1、感受野 感受野：卷积核光顾到的地方。（感受到的视野） 2、外层补0（padding） 外层补0，防止原来最外层的元素访问次数过少。（中间的访问次数最多） 2、特征图（结果图） 原图和卷积...
上采样和下采样
最新发布
weixin_44943389的博客
10-12 2161
上采样（Upsampling）和下采样（Downsampling）是图像处理和信号处理中常用的操作，它们分别用于增加和减少数据的分辨率或采样率。
卷积神经网络（CNN）详细介绍及其原理详解
IronmanJay的博客
01-14 15万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
卷积神经网络数字识别系统的FPGA实现.pdf
09-25
卷积神经网络（Convolutional Neural Networks，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络的识别效果更好，更适合处理图像识别问题。 在数字识别系统中，卷积...
Visualizing and Understanding Convolutional Networks.pdf
12-30
卷积神经网络（Convolutional Neural Networks，简称CNNs）是深度学习领域的重要组成部分，尤其在图像识别任务中表现出色。自LeCun等人在1990年代初提出CNN以来，这种网络结构已经在手写数字分类、人脸识别等任务上...
基于分层池的深度卷积神经网络用于人类动作识别
03-15
过去几年，深度卷积神经网络（CNN）成为最受欢迎的方法，并在HMDB-51和UCF-101等多个数据集上达到了最先进的性能。 由于每个视频都具有多种帧级功能，因此如何组合这些功能以获得良好的视频级功能成为一项艰巨的任务...
DeconvNet-master.zip
04-03
在深度学习领域，卷积神经网络（Convolutional Neural Networks, CNN）因其在图像识别和计算机视觉任务中的卓越性能而广受欢迎。然而，传统的CNN在处理图像时往往会降低输入图像的分辨率，这在某些需要保留空间信息...
Computer Vision – ECCV 2014 Part II.zip
07-13
2014年的研究可能深入探讨了深度学习技术，如卷积神经网络（CNN），它们在图像分类任务上的表现显著提升。 2. 目标检测与跟踪：如何在复杂环境中定位和追踪特定对象是另一个重要领域。当年的研究可能涉及了更高效的...
CNN卷积神经网络学习笔记
TZZtangtangtang的博客
09-04 525
卷积神经网络应用领域 检测任务 追踪任务 分类检索 超分辨率重构 医学任务 无人驾驶 人脸识别 卷积的作用 卷积神经网络与传统网络区别 传统神经网络（nn） 特征是二维的 CNN 特征是三维的，直接输入原始数据 卷积神经网络的整体架构 输入层 卷积层 池化层 全连接层 输入层 图像数据，例如：28x28的数据 卷积层 提取特征 计算过程 将图像进行一个分割，分成多个小块，目的是在不同的区域，得到的特征不一样。 卷积特征值计算方法 图像颜色通道 一张图是三维的，分为R,G,B三个通道分别单独
机器学习基础篇-数据转换
你好，今天的你
10-11 828
Capture 1 紧接着数据清洗那一篇文章，下个环节就是数据的转换，先让我们看一下机器学习的work flow 数据的采集 数据标注+数据清洗 数据转换 特征工程 机器学习 Capture 2 数据需要被转换成合适机器学习的形式，当然，这其中包括数据清洗+特征工程，我们需要针对不同的变量形式进行不同地transform，主要包含以下几种形式： 针对结构化数据。Normalization for Real Value Columns method principle 归一化，将数值归
【MRI】SENSE (Sensitivity Encoding) 算法 仿真实验与原理剖析 (Matlab 实现)
闻韶
11-04 5106
SENSE 敏感度编码算法 Matlab 实验
图像协方差矩阵_深度学习的预处理：从协方差矩阵到图像白化
cumi6497的博客
07-27 2592
图像协方差矩阵by hadrienj 由hadrienj The goal of this post is to go from the basics of data preprocessing to modern techniques used in deep learning. My point is that we can use code (such as Python/NumPy) t...
【学习笔记】深度卷积神经网络中的降采样
码海畅游记录
07-07 1193
降采样 降采样指的是成比例缩小特征图宽和高的过程，比如从（W，H）变为（W/2，H/2）。深度卷积神经网络中降采样的方法主要有三种： stride大于1的pooling stride大于1的conv stride大于1的reorg（在YOLOv2的论文里叫passthrough layer） 其中1和2在深度卷积神经网络中使用非常普遍，3比较小众，由Joseph Redmon在YOLOv2中...
图像不同的降采样方式(模糊处理)
Gavinmiaoc的博客
06-06 8753
模糊处理在边沿检测和去噪声方面有较为广泛的应用。OpenCV中提供了4种模糊算法，列举如下： average median gaussian bilateral 而scipy中同样有几种方式，其本质上是没区别的。 我们先来看模糊算法的实现： 1.average import numpy import argparse import cv2 ...
卷积神经网络(CNN)基础介绍
热门推荐
网络资源是无限的
01-16 37万+
卷积神经网络(CNN)基础介绍
一文让你彻底了解卷积神经网络
比比的博客
08-03 20万+
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。 对比：卷积神经网络、全连接神经网络 左图：全连接神经网络（平面），组成：输入层、激活函数、全连接层 右图：卷积神经...
卷积神经网络各层分析
glory_lee的博客
09-08 11万+
在前面的文章中，我们介绍了全连接神经网络，以及它的训练和使用。我们用它来识别了手写数字，然而，这种结构的网络对于图像识别任务来说并不是很合适。本文将要介绍一种更适合图像、语音识别任务的神经网络结构——卷积神经网络(Convolutional Neural Network, CNN)。说卷积神经网络是最重要的一种神经网络也不为过，它在最近几年大放异彩，几乎所有图像、语音识别领域的重要突破都是卷积
卷积神经网络(convolutional neural networks, cnn)结构图
09-17
卷积神经网络（Convolutional Neural Networks，CNN）是一种强大的深度学习算法，主要用于图像识别和处理。CNN的结构图主要包括卷积层、激活函数、池化层和全连接层。 卷积层是CNN的核心组成部分，由多个卷积核组成。每个卷积核在图像上进行滑动操作，通过计算卷积操作得到新的特征图。卷积操作可以提取出图像的局部特征，并保留了空间结构信息。 在卷积层之后，激活函数（如ReLU）被应用于特征图中的每个元素，以引入非线性。激活函数可以增加网络的表达能力，并促使网络学习更复杂的特征。 池化层用于减少特征图的维度，它通过将特定区域内的特征值进行聚合，并选择最显著的特征进行保留。常用的池化操作包括最大池化和平均池化。池化层可以减少特征图的大小，从而降低参数数量，减小计算量。 最后，全连接层将池化层输出的特征图转换为向量形式，并连接到输出层。全连接层的作用是对特征进行分类或回归预测。它们通常由全连接神经元组成，每个神经元与上一层的所有神经元相连。 在CNN的结构图中，卷积层和池化层可以多次堆叠，以增加网络的深度。这种多层次的结构可以使网络学习到更高级别的抽象特征。此外，CNN还可以通过添加批量归一化、dropout等技术来提高网络的性能和泛化能力。 总之，CNN的结构图展示了卷积神经网络的层次组织和数据流动方式，有助于理解其工作原理和网络结构的设计。通过逐层堆叠不同的层，CNN可以有效地提取图像中的特征，并在分类、目标检测等任务中取得优秀的性能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

XiaoLinzzz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值