深度学习——卷积神经网络（convolutional neural network）CNN详解（二）——前向传播与反向传播过程（特征提取+预测+反向传播更新参数）. 步骤清晰0基础可看

已于 2024-08-10 23:32:06 修改
阅读量882 收藏 29
点赞数 34
分类专栏： 机器学习/深度学习 文章标签： 深度学习 cnn 人工智能
于 2024-08-10 23:20:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52889787/article/details/140144961
版权

在CNN的学习过程中我会提供相应的手算例子帮助理解训练过程。

其他关于卷积神经网络的学习链接如下：

深度学习——卷积神经网络（convolutional neural network）CNN详解（一）——概述. 步骤清晰0基础可看

深度学习——卷积神经网络（convolutional neural network）CNN详解（二）——前向传播与反向传播过程（特征提取+预测+反向传播更新参数）. 步骤清晰0基础可看

理解神经网络的简单传播过程，链接如下：

深度学习——神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

深度学习——神经网络（neural network）详解（二）. 带手算步骤，步骤清晰0基础可看

梯度下降法： 

机器学习/深度学习——梯度下降法（Gradient descent）详解. 步骤清晰 0基础可看

前向传播包括特征提取与预测过程。

一、特征提取 

1.图像输入（Input）

（1）理解图像的基本概念

像素（Pixel）是构成数字图像的基本单元，它是图像中的一个单独的点，可以具有特定的颜色和亮度值。在数字图像中，像素按照网格状排列，每个像素点都对应着图像上的一个特定位置，并且拥有自己的颜色信息。

  • 颜色信息：每个像素可以表示一种颜色，这通常通过颜色模型来定义，如RGB（红绿蓝）颜色模型，其中每个像素由红、绿、蓝三种颜色的组合来表示，每种颜色的强度可以在0到255的范围内变化，从而产生超过1600万种不同的颜色。
  • 空间位置：在图像的二维网格中，每个像素都有其特定的空间位置，通常用(x, y)坐标来表示，其中x表示水平方向的位置，y表示垂直方向的位置。
  • 分辨率：图像的分辨率是指图像中包含的像素数量，通常用像素的宽度和高度来表示，例如1920x1080像素，表示图像水平方向有1920个像素，垂直方向有1080个像素。

如图所示，胸部X光图灰度图对应的像素图。该图片来自医疗数据集https://www.kaggle.com/datasets/tolgadincer/labeled-chest-xray-images

（2）灰度图与RGB图

灰度表示： 灰度图像通常用一个单一的通道表示，其中每个像素点的值表示亮度，范围通常是0（黑色）到255（白色）。

彩色图像：彩色图像通常有多个通道（如RGB），每个通道分别表示红色、绿色和蓝色的强度。取值范围是0（表示该颜色完全没有贡献）到255（表示该颜色强度最大）。

（3）图像尺寸标准化

224x224像素是一个常见的图像尺寸，特别是在使用深度学习模型，如卷积神经网络（CNN）进行图像识别和分类任务时。这个尺寸可以确保模型能够高效处理图像，同时保留足够的细节以进行准确的特征提取和分析。选择224x224作为输入尺寸是因为它可以在减小计算复杂度的同时保留足够的图像信息以供特征提取。

  1. 缩放：使用不同的插值方法（如最近邻插值、双线性插值、立方插值等）来调整图像的尺寸，使其宽度和高度都变为224像素。

  2. 填充（可选）：如果原始图像的宽高比与目标尺寸不匹配，可能需要在图像的边缘添加一些像素（通常为零填充或复制边缘像素），以保持图像的宽高比。

  3. 归一化：在缩放之后，图像的像素值通常需要被归一化到一个特定的范围，像素值如0到1或-1到1，比如像素值范围为0~255，可以进行归一化处理至（0，1）范围，即每个像素值除以255，以便于CNN模型的参数更新过程，帮助模型更有效地进行学习。

  4. 颜色通道处理：对于RGB彩色图像，确保图像具有三个颜色通道，并且每个通道的像素值也经过了适当的归一化。

  5. 数据增强（可选）：在某些情况下，为了提高模型的泛化能力，可能会在缩放和归一化的基础上进一步应用数据增强技术，如旋转、翻转、裁剪等。

2.神经网络概述

简单的神经网络的传播过程请参见我的其他文章：

深度学习——神经网络（neural network）详解（一）. 带手算步骤，步骤清晰0基础可看

深度学习——神经网络（neural network）详解（二）. 带手算步骤，步骤清晰0基础可看

3.卷积操作

卷积操作是CNN中的核心，它用于提取图像中的局部特征。以下是卷积操作的基本步骤：

（1）滤波器（Filter/Kernel）：在卷积操作中，我们使用小的矩阵，这个小的矩阵称为滤波器或卷积核，来扫描输入图像。具体的操作过程如下图所示：

（2）局部特征提取：滤波器覆盖图像的一个小区域，计算该区域与滤波器的点积（就是将图片被卷积核覆盖的像素数值与卷积核的矩阵各个数值对应相乘），生成特征映射（Feature Map）（也就是利用卷积核初步提取到的特征）的一个元素。

（3）滑动窗口：滤波器在图像上按照一定的步长（stride）滑动，对每个局部区域进行卷积操作。

（4）步长（Stride）：定义了滤波器滑动的间隔。较大的步长可以减少特征映射的空间尺寸，但可能会丢失一些信息。我们上方这张图像的滑动步长为1。

（6）填充（Padding）：为了控制输出特征映射的尺寸，可以在输入图像的边缘添加零值或其他类型的边界扩展。

（7）网络权重：我们所说的卷积神经网络权重更新，其中的网络权重其实就是这些卷积核中的数值，我们需要通过一步步的训练模型使卷积核中的这些数值更新到合适的数值，能帮助我们顺利完成深度学习的预测任务，比如分类任务。

4.池化操作

 池化操作通常跟在卷积层之后，用于降低特征映射的空间尺寸，其实就是让矩阵变小。池化操作有以下几种，具体的操作也如下图所示：

池化操作中涉及到的参数为pool_size，若pool_size=[2,2]，则该窗口覆盖的2 X 2的特征被池化。

（1）最大池化（Max Pooling）：选择局部区域内的最大值作为输出，这有助于保留最重要的特征。

（2）平均池化（Average Pooling）：计算局部区域内所有值的平均值作为输出，这有助于平滑特征。

（3）步长（Stride）：与卷积操作类似，池化操作也有步长的概念，它决定了池化窗口在特征映射上滑动的距离。

（4）填充（Padding）：有时为了保持特征映射的尺寸不变，会在输入的边缘添加额外的零值。

二、全连接层（Fully Connected Layer）

在多个卷积和池化层之后，特征映射通常会通过一个或多个全连接层进行分类或回归任务，这个过程我们搭配下图所展示的过程进行理解：

1.展平（Flattening）

将多维的特征映射转换为一维向量，为全连接层做准备。（将前面过程中经过了卷积，池化等操作后的特征矩阵展平成一维向量）

2.全连接层的输入

展平的一维数据作为输入。这个一维向量包含了从输入图像中提取的特征，这些特征是通过卷积和池化操作得到的。

3.特征数目控制

全连接层的神经元数量（即特征数）是可配置的。设计者可以根据问题的复杂性和所需的模型容量来决定这个数量。

4.全连接层的输出

全连接层的输出数量取决于模型的设计和任务的需求。对于分类任务，最后一个全连接层（也称为输出层或分类层）的输出数量通常等于类别的总数。例如，如果是一个有10个类别的分类问题，最后一个全连接层将有10个神经元，每个神经元对应一个类别的输出。为什么说是最后一个全连接层呢？因为全连接层是可以有多个的。

5.多个全连接层

在某些情况下，可能会有多个全连接层堆叠在一起，其中每个全连接层的输出会成为下一个全连接层的输入。这种情况下，除了最后的输出层，每个全连接层的输出特征数也是我们需要确定的。

6.输出层的特殊性

对于分类任务，最后一个全连接层通常会使用softmax激活函数，它将每个神经元的输出转换为介于0和1之间的概率值，这些概率值的总和为1，表示模型对每个类别的预测信心。

 7.softmax激活函数

softmax函数是一种在多分类问题中常用的激活函数，特别是在输出层。它将一个向量或一组实数输入转换为概率分布，使得每个元素的值都在0到1之间，并且所有元素的和为1。比如若是猫狗两类，softmax函数的输出可能为[0.7,0.3]。0.7代表着本模型的预测偏向。

三、损失函数（Loss Function）

损失函数衡量模型预测与实际标签之间的差异

1.分类任务

交叉熵损失（Cross-Entropy Loss）是常用的损失函数。在学习交叉熵之前我们来了解一下One-Hot编码。

（1）One-Hot编码（One-Hot Encoding）

One-Hot编码是一种常见的数据预处理方法，特别是在分类问题中。它将类别标签转换为一种数值形式，使得模型能够更好地处理它们。

One-Hot编码是一种表示类别数据的方式，其中每个类别由一个唯一的二进制向量表示。这个向量的长度等于类别的总数，且除了表示该类别的一个位置为1外，其余所有位置都是0。

编码过程

  1. 确定类别集合：首先，确定所有可能的类别集合。例如，在猫狗分类问题中，类别集合就是{猫，狗}。

  2. 创建向量：对于类别集合中的每个类别，创建一个长度等于类别总数的向量{x1,x2}。

  3. 设置位置：在向量中，找到对应类别的位置，并将其设置为1。其余位置设置为0。

示例

假设我们有三个类别：A、B和C。使用One-Hot编码，这三个类别将被表示为以下向量：

  • 类别A：[1, 0, 0]
  • 类别B：[0, 1, 0]
  • 类别C：[0, 0, 1]

 使用场景

  • 多分类问题：One-Hot编码在多分类问题中非常有用，因为它允许模型将每个类别视为独立的二分类问题。
  • 交叉熵损失：One-Hot编码与softmax激活函数和交叉熵损失函数配合使用，形成多分类问题的标准解决方案。

（2）交叉熵损失（Cross-Entropy Loss）

它衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。

手算实例

假设我们有一个三分类问题，其类别为猫、狗和鸟。我们的模型输出了一个样本属于这三个类别的概率分布 [P_cat, P_dog, P_bird]，而真实标签是使用One-Hot编码表示的。猫为[1, 0, 0]，狗为[0, 1, 0]，鸟为[0, 0, 1]。

  • 模型预测：模型预测样本为猫、狗和鸟的概率分别为 [0.2, 0.5, 0.3]。
  • 真实标签：假设真实标签是狗，One-Hot编码为 [0, 1, 0]。

使用交叉熵损失公式：

这个损失值表示模型预测与实际标签之间的差异。在实际训练中，我们会对整个数据集的样本计算平均损失，以此来优化模型参数。

2.回归任务

均方误差（Mean Squared Error, MSE）是常用的损失函数（在我的文章神经网络中的房价预测背景就是回归任务）。

四、反向传播和优化（Backpropagation and Optimization）

这部分的内容可以去我的神经网络概述中理解。搭配图示理解各个过程。

  1. 反向传播：计算损失函数关于每个参数的梯度（这个过程在我之前的神经网络概述的文章中已经展示了手算）。

  2. 优化算法：使用梯度下降（Gradient Descent）或其他优化算法（如Adam、RMSprop）更新网络权重。

  3. 学习率：控制权重更新的步长。

  4. 迭代训练：重复前向传播、计算损失、反向传播和权重更新的过程，直到模型在验证集上的性能不再提升。

五、评估和测试（Evaluation and Testing）

  1. 评估：在验证集上评估模型性能，调整超参数，比如学习率的大小。

  2. 测试：在测试集上测试模型的最终性能，确保模型具有良好的泛化能力。

  3. 混淆矩阵：用于分类任务，显示真正例、假正例、真反例和假反例的数量。

  4. 性能指标：准确率、精确率、召回率和F1分数等指标用于评估分类模型的性能。

林采采学编程+
关注
专栏目录
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
卷积神经网络 (Convolutional Neural Network)
最新发布
程序员光剑
07-03 630
卷积神经网络 (Convolutional Neural Network) 关键词： CNN 卷积核 池化层 激活函数 损失函数 交叉熵损失
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
热门推荐
zouxy09的专栏
08-16 49万+
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现zouxy09@qq.comhttp://blog.csdn.net/zouxy09          自己平时看了一些论文，但老感觉看完过后就会慢慢的淡忘，某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下，一方面在整理过程中，自己的理解也会更深，另一方面也方便未来自己的勘察。更好
卷积层的反向传播
weixin_37721058的博客
10-07 5656
本文翻译于这篇文章，如果想看原文可以直接点击这篇文章。我是一篇好文章 ----- 前言 卷积的过程其实是一个线性变化的过程：其实就y=wx+b的过程 文中提到了w的大小和x大小的关系，一般来说都是w比x小，卷积核一般都是3*3之类的。文中也提到了了解卷积的反向传播的过程要先链接基本的反向传播和链式法则。损失函数对卷积核参数的影响，是通过链式法则，不断的梯度相互乘积的结果，其中包括输入部分和梯度部分...
CNN卷积神经网络和反向传播
login_sonata的博客
08-26 6万+
本文内容来自： 1，Michael Nielsen的《Neural Networks and Deep Learning》中文翻译 2，http://www.cnblogs.com/pinard/p/6494810.html 3，http://blog.csdn.net/yunpiao123456/article/details/52437794卷积神经网络基础：首先看一下全连接网络，即神经元
1.卷积反向传播
HUOYUQI的博客
07-24 331
1.x[0,0;,;] x[n,c,h,w] n表示样本标号，一般是一个batch一个batch输入的 ，0表示样本标号为0 c 表示图像的channel 对于灰度图来讲有三个r g b h 表示图像的高 w 表示图像的宽 2.池化 mean forward:[1 3;2 2]->[2] backward[2] ->[0.5 0.5; 0.5 0.5] max forward:[1...
卷积神经网络(CNN)反向传播
qq_41845951的博客
08-05 3594
目录 前言 前向传播 1.1卷积层前向传播 1.2池化层前向传播 1.3全连接层前向传播 2.损失函数 3.反向传播 3.1已知池化层​，求上一层​ 3.2已知卷积层​，求上一层​ 3.3卷积层更新W和b 4.总结 前言 卷积神经网络是计算机视觉的最基础网络，可以让计算机很好的模拟人的眼睛，主要方法就是提取出特定事物的特征，根据特征对事物进行识别，那么在卷积神经网络训练时，梯度是怎么变化的，卷积神经网络中的权重参数是怎么更新的，本文对重点对卷积神经网络中的反向传播进行讨论。 ...
卷积神经网络(CNN)的反向传播
Lavi的专栏
08-25 931
0 前言 学习CNN的反向传播算法之前最后先弄明白全连接网络的反向传播算法。裂墙推荐这个篇博客神经网络BP反向传播算法原理和详细推导流程，保证博到病除。 CNN 中的卷积操作则不再是全连接的形式，因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pooling 层上的应用。 1 全连接网络的反向传播算法 首先，用两个例子回顾一下原始的 BP 算法。（...
CNN卷积神经网络--反向传播（3，Notes on Convolutional Neural Networks）
明明如月
08-30 6811
一、介绍          这个文档讨论的是CNNs的推导和实现。CNN架构的连接比权值要多很多，这实际上就隐含着实现了某种形式的规则化。这种特别的网络假定了我们希望通过数据驱动的方式学习到一些滤波器，作为提取输入的特征的一种方法。          本文中，我们先对训练全连接网络的经典BP算法做一个描述，然后推导2D CNN网络的卷积层和子采样层的BP权值更新方法。在推导过程中，我们
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(一)
笨拙的石头的博客
05-16 2万+
    前面, 我们介绍了DNN及其参数求解的方法(BP算法),我们知道了DNN仍然存在很多的问题,其中最主要的就是BP求解可能造成的梯度消失和梯度爆炸的问题.那么,人们又是怎么解决这个问题的呢?本节的卷积神经网络(Convolutional Neural Networks, CNN)就是一种解决方法.     我们知道神经网络主要有三个部分组成, 分别为:      ① 网络结构--- 描述...
卷积神经网络反向传播_从直觉到公式推到
11-24
这篇文档是我迄今为止见到的写的最好的关于卷积神经网络内部机制的博文。
【深度学习系列】卷积神经网络详解(二)——自己手写一个卷积神经网络.docx
12-17
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。本文将详细介绍卷积神经网络的核心概念、结构以及如何手动构建一个简单的CNN。 1. **卷积层**...
【深度学习系列】卷积神经网络详解(二)-自己手写一个卷积神经网络.docx
03-10
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，广泛应用于图像识别、计算机视觉等领域。CNN的特点在于其卷积层和池化层，这些特殊结构使其能够有效地提取图像特征并减少计算复杂性。在...
深度学习2：卷积神经网络Convolutional Neural Network（基于Python MXNet.Gluon框架）
绝对是谨慎提交的博客
03-16 1240
卷积神经网络（Convolutional Neural Network，CNN）是前馈神经网络中的一种基础的网络结构，本节从卷积计算开始始，讲解了CNN的理论知识和实际应用。本文的深度学习框架基于MXNet/GLUON框架，安装方便，上手简单。
【深度学习笔记（六）】之卷积神经网络中的反向传播
开发小鸽
07-23 1497
本文章由公号【开发小鸽】发布！欢迎关注！！！ 老规矩–妹妹镇楼： 一. 卷积层的前向传播和反向传播 （一）卷积层的前向传播 前向传播公式：                      wx + b = out        w是滤波器的参数，x是前一层的输入，b是偏置项，out是每一层的输出    
算法推导 | 卷积神经网络(CNN)反向传播
idol24的博客
07-05 2645
作者丨南柯一梦宁沉沦@知乎编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/61898234多层感知机反向传播的数学推导，主要是用数学公式来进行表示的，在全连接神经网络中，它们并不复杂，即使是纯数学公式也比较好理解。而卷积神经网络相对比较复杂，在本篇文章中我们将从直观感受和数学公式两方面来介绍CNN反向传播算法的推导。首先我给大家介绍一下我分...
卷积神经网络(CNN)反向传播算法
czp_374的博客
01-21 220
1 回顾DNN的反向传播算法 2 CNN的反向传播算法思想 3. 已知池化层的δl\delta_{l}δl​，推导上一隐藏层的δl−1\delta_{l-1}δl−1​ 4. 已知卷积层的δl\delta^lδl，推导上一隐藏层的δl−1\delta^{l-1}δl−1 5 已知卷积层的δl\delta^{l}δl，推导该层的W,b的梯度 6 CNN反向传播算法总结 ...
第五周：卷积神经网络(CNN）的反向传播
qq_41554955的博客
10-31 3887
上一个博客描述了CNN的整个过程（链接https://editor.csdn.net/md/?articleId=120914867），这一个博客来说一下池化层（Sampling）反向传播和卷积层的反向传播的公式是怎么来的 1.池化层反向传播 池化层的反向传播就是已知后一层池化层矩阵的误差梯度，推前一层矩阵的误差梯度。 最大池化的正向传播如下： 以上图最大池化举例，池化后的数字6对应于池化前的红色区域，实际上只有红色区域中最大值数字6对池化后的结果有影响，权重为1，而其它的数字对池化后的结果影响都为0。假
零基础入门深度学习：卷积神经网络详解
本篇文章是深度学习系列文章的第四篇，主要介绍卷积神经网络（Convolutional Neural Network，CNN）的基础知识和应用。卷积神经网络是一种专门用于图像和语音识别任务的神经网络结构，它在最近几年取得了许多重要...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林采采学编程+

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值