机器学习(十三)卷积神经网络(CNN)详细公式推导

这里写目录标题

  • 摘要
  • Abstract
  • 1、 CNN 结构介绍
    • 卷积
    • 池化
    • 全连接
  • 2、公式
  • 3、 梯度下降和反向传播算法
    • δ \delta δ 递归公式的推导

摘要

CNN 是为了识别二维形状而特殊设计的多层感知器, 对二维形状的缩放, 倾斜或其它形式的变形具有高度不变性. 每一个神经元从上一层的局部区域得到输入, 这迫使神经元提取局部特征. 一旦一个特征被提取出来, 它相对于其它特征的位置被近似保留下来, 而忽略掉精确的位置. 每个卷积层后面跟着一个池化, 使得特征图的分辨率降低, 而有利于降低对二维图形的平移或其他形式的敏感度.

权值共享是 CNN 的一大特点, 每一个卷积核滑遍整个输入矩阵, 而参数的数目等于卷积核矩阵元素的数目加上一个偏置, 相对于 BP 网络大大减少了训练的参数. 例如对于一张 300 × 300 的彩色图片, 如果第一层网络有25个神经元, 使用 BP网络, 参数的数目可达 675万个( 300 × 300 × 3 × 25 + 1), 而卷积网络只有76个( 25 × 3 + 1 )

Abstract

CNN is a multilayer perceptron specially designed to recognize 2D shapes and is highly invariant to scaling, tilting or other forms of deformation. Each neuron gets its input from the local region of the previous layer, which forces the neuron to extract local features. Once a feature is extracted, its position relative to other features is approximately preserved, while the exact position is ignored. Each convolutional layer is followed by a pooling, which reduces the resolution of the feature map in favor of reducing sensitivity to translation or other forms of 2D graphics.

Weight sharing is a major feature of CNN. Each convolution kernel slides through the entire input matrix, and the number of parameters is equal to the number of convolution kernel matrix elements plus a bias, which greatly reduces the training parameters compared with BP network. For example, for a 300×300 300\times300 300×300 color image, if the first layer network has 25 neurons, using BP network, the number of parameters can reach 6.75 million (300×300 ×3 × 25 + 1). Convolutional networks have only 76 (25 × 3 + 1)

1、 CNN 结构介绍

在这里插入图片描述
上面是一个简单的 CNN 结构图, 第一层输入图片, 进行卷积(Convolution)操作, 得到第二层深度为 3 的特征图(Feature Map). 对第二层的特征图进行池化(Pooling)操作, 得到第三层深度为 3 的特征图. 重复上述操作得到第五层深度为 5 的特征图, 最后将这 5 个特征图, 也就是 5 个矩阵, 按行展开连接成向量, 传入全连接(Fully Connected)层, 全连接层就是一个 BP 神经网络. 图中的每个特征图都可以看成是排列成矩阵形式的神经元, 与 BP神经网络中的神经元大同小异. 下面是卷积和池化的计算过程.

卷积

对于一张输入图片, 将其转化为矩阵, 矩阵的元素为对应的像素值. 假设有一个 5 × 5 的图像,使用一个 3 × 3 的卷积核进行卷积,可得到一个 3 × 3 的特征图. 卷积核也称为滤波器(Filter).
在这里插入图片描述

具体的操作过程如下图所示:在这里插入图片描述
黄色的区域表示卷积核在输入矩阵中滑动, 每滑动到一个位置, 将对应数字相乘并求和, 得到一个特征图矩阵的元素. 注意到, 动图中卷积核每次滑动了一个单位, 实际上滑动的幅度可以根据需要进行调整. 如果滑动步幅大于 1, 则卷积核有可能无法恰好滑到边缘, 针对这种情况, 可在矩阵最外层补零, 补一层零后的矩阵如下图所示:
在这里插入图片描述
可根据需要设定补零的层数. 补零层称为 Zero Padding, 是一个可以设置的超参数, 但要根据卷积核的大小, 步幅, 输入矩阵的大小进行调整, 以使得卷积核恰好滑动到边缘.

一般情况下, 输入的图片矩阵以及后面的卷积核, 特征图矩阵都是方阵, 这里设输入矩阵大小为 w, 卷积核大小为 k, 步幅为 s, 补零层数为 p , 则卷积后产生的特征图大小计算公式为:
w ′ = ( w + 2 p − k ) s + 1 w^{\prime}=\frac{(w+2p-k)}{s}+1 w=s(w+2pk)+1
上图是对一个特征图采用一个卷积核卷积的过程, 为了提取更多的特征, 可以采用多个卷积核分别进行卷积, 这样便可以得到多个特征图. 有时, 对于一张三通道彩色图片, 或者如第三层特征图所示, 输入的是一组矩阵, 这时卷积核也不再是一层的, 而要变成相应的深度.在这里插入图片描述
上图中, 最左边是输入的特征图矩阵, 深度为 3, 补零(Zero Padding)层数为 1, 每次滑动的步幅为 2. 中间两列粉色的矩阵分别是两组卷积核, 一组有三个, 三个矩阵分别对应着卷积左侧三个输入矩阵, 每一次滑动卷积会得到三个数, 这三个数的和作为卷积的输出. 最右侧两个绿色的矩阵分别是两组卷积核得到的特征图.

池化

池化又叫下采样(Dwon sampling), 与之相对的是上采样(Up sampling). 卷积得到的特征图一般需要一个池化层以降低数据量. 池化的操作如下图所示:在这里插入图片描述
和卷积一样, 池化也有一个滑动的核, 可以称之为滑动窗口, 上图中滑动窗口的大小为 2 × 2, 步幅为 2 , 每滑动到一个区域, 则取最大值作为输出, 这样的操作称为 Max Pooling. 还可以采用输出均值的方式, 称为 Mean Pooling.

全连接

经过若干层的卷积, 池化操作后, 将得到的特征图依次按行展开, 连接成向量, 输入全连接网络

2、公式

输入
V = conv2 ( W , X , "valid" ) + b V=\text{conv2}(W,X,\text{"valid"})+b V=conv2(W,X,"valid")+b
输出
Y = φ ( V ) Y=\varphi{(V)} Y=φ(V)
上面的输入输出公式是对每一个卷积层而言的, 每一个卷积层都有一个不同的权重矩阵 W , 并且 W , X , Y 是矩阵形式.对于最后一层全连接层, 设为第 L层, 输出是向量形式的 y L y^L yL, 期望输出是 d , 则有总误差公式
总误差
E = 1 2 ∣ ∣ d − y L ∣ ∣ 2 E=\frac{1}{2}||d-y^L||^2 E=21dyL2
conv2() 是 卷积运算的卷积函数, 第三个参数 valid 指明卷积运算的类型, 前面介绍的卷积方式就是 valid 型. W是卷积核矩阵, X是输入矩阵, b是偏置, φ ( x ) 是激活函数. 总误差中的 d , y分别是期望输出和网络输出的向量. 全连接层神经元的输入输出计算公式与 BP网络完全相同.

3、 梯度下降和反向传播算法

与 BP神经网络一样, CNN 也是通过梯度下降和反向传播算法进行训练的, 则全连接层的梯度公式与 BP网络完全一样, 这里就不重复了. 下面介绍卷积层和池化层的梯度公式.
∂ E ∂ w i j = ∂ E ∂ v i j ∂ v i j ∂ w i j = δ i j ∂ v i j ∂ \frac{\partial E}{\partial w_{i j}}=\frac{\partial E}{\partial v_{i j}} \frac{\partial v_{i j}}{\partial w_{i j}}=\delta_{i j} \frac{\partial v_{i j}}{\partial} wijE=vijEwijvij=δijvij
现在的目标是求出 δ i j 和 ∂ v i j ∂ w i j \delta_{ij} 和\frac{\partial v_{i j}}{\partial w_{i j}} δijwijvij​​的表达式. 首先求 δ i j \delta_{ij} δij​, 从一个简单情况开始.
设输入是 3 × 3的矩阵, 卷积核是 2 × 2 的矩阵.
(1) 当步长为 1 时, 则可得到 2 × 2 的特征图矩阵. 如下图所示:
在这里插入图片描述
绿色矩阵是第 l-1层神经元, 红色的是第 l 层, 黄色的是第 l层的卷积核, 图中省略掉了第 l − 1层的卷积核. 每个矩阵的元素可以看成一个神经元, 于是和 BP网络一样, 可以对每个神经元定义局部梯度, 为了看着清楚, 把矩阵的元素换成 δ \delta δ. 神经网络中数值的传递也可以看成导数的传递. 假设已经求出了 δ l , 则 δ l − 1 \delta^l, 则 \delta^{l-1} δl,δl1 的计算公式为
δ l − 1 = conv2 ( rot180 ( W l ) , δ l , ’full’ ) φ ′ ( v l − 1 ) \delta^{l-1}=\text{conv2}(\text{rot180}(W^l),\delta^l,\text{'full'})\varphi^{\prime}(v^{l-1}) δl1=conv2(rot180(Wl),δl,’full’)φ(vl1)
这是一个递归公式. δ \delta δ, w , v 是矩阵形式, 公式中 rot180() 函数表示将矩阵逆时针旋转 180 度, 参数 full 表示进行的完全的卷积运算, 这种运算形象的解释如下:
在这里插入图片描述
首先将特征图矩阵补一圈零, 然后用权重矩阵对补零后的特征图矩阵进行 vaild 型卷积运算. 这里补零的层数等于卷积核矩阵的大小减去 1, full 型卷积的内涵在于使卷积从边缘开始, 即先计算 w 11 l δ 11 l w_{11}^l \delta_{11}^l w11lδ11l​, 然后是 w 12 l δ 11 l + w 11 l δ 12 l ​ w_{12}^l \delta_{11}^l+w_{11}^l \delta_{12}^l ​ w12lδ11l+w11lδ12l, 以此类推.
(2) 当滑动步幅大于 1 时
在这里插入图片描述
上图分别是步长为 1, 2 时的卷积过程, 可以发现步长为 1 是一个比较完全的卷积, 当步长增大时, 会跳过某些区域, 因此可以通过对特征图补零的方式将步幅为 2 时生成的特征图转换为步幅 1 的特征图, 然后直接利用前面推导的公式即可求出 δ l − 1 \delta^{l-1} δl1. 补零如下图所示
在这里插入图片描述
(3) 当卷积核数目为 N时, 与 BP 网络隐藏层神经元局部梯度计算类似, 每一个权重的改变, 都会影响到下一层每一个神经元输入的改变, 所以误差的反响传递需要把误差之和传到前一层, 则公式可简单地修改为
δ l − 1 = ∑ i = 0 N conv2 ( rot180 ( W i l ) , δ i l , ’full’ ) φ ′ ( v l − 1 ) \delta^{l-1}=\sum_{i=0}^N \text{conv2}(\text{rot180}(W_i^l),\delta_i^l, \text{'full'}) \varphi^{\prime}(v^{l-1}) δl1=i=0Nconv2(rot180(Wil),δil,’full’)φ(vl1)
(4) 对于池化层的梯度传递, 情况就简单了一些, 下面以 Max Pooling 为例在这里插入图片描述
图中滑动窗口大小为 2 × 2, 步幅为 2, 则得到一个 2 × 2的特征图, Max Pooling 方法是选择最大的数值作为输出, 由于过程中没有任何运算, 不存在梯度的变化, 所以误差可以直接由第 l层传递到第 l − 1层, 如下图所示
在这里插入图片描述
图中假设四个角上的元素值最大, 则对应位置的局部梯度可直接反向传递, 其它位置由于没有连接, 则梯度设为 0.

如果池化类型是 Mean Pooling, 即取滑动窗口内的均值作为输出, 则将 l层的梯度的 1 4 \frac{1}{4} 41 倍反向传递到 l − 1层, 如下图所示

在这里插入图片描述
到此为止已经推导出了不同情况下的 δ \delta δ的递归公式, 下面推导 ∂ v i j ∂ w i j \frac{\partial v_{ij}}{\partial w_{ij}} wijvij的表达式. 下图所示, 为了表达清楚, 将符号做一些替换, 相对于第 l层, 第 l − 1层的输出变量符号可由 y 变为 x.
在这里插入图片描述
根据卷积的原理, 可以得到
y 11 l = w 11 l x 11 l − 1 + w 12 l x 12 l − 1 + w 21 l x 21 l − 1 + w 22 l x 22 l − 1 y 12 l = w 11 l x 12 l − 1 + w 12 l x 13 l − 1 + w 21 l x 22 l − 1 + w 22 l x 23 l − 1 y 21 l = w 11 l x 21 l − 1 + w 12 l x 22 l − 1 + w 21 l x 31 l − 1 + w 22 l x 32 l − 1 y 22 l = w 11 l x 22 l − 1 + w 12 l x 23 l − 1 + w 21 l x 32 l − 1 + w 22 l x 33 l − 1 \begin{aligned} y_{11}^{l} &=w_{11}^{l} x_{11}^{l-1}+w_{12}^{l} x_{12}^{l-1}+w_{21}^{l} x_{21}^{l-1}+w_{22}^{l} x_{22}^{l-1} \\ y_{12}^{l} &=w_{11}^{l} x_{12}^{l-1}+w_{12}^{l} x_{13}^{l-1}+w_{21}^{l} x_{22}^{l-1}+w_{22}^{l} x_{23}^{l-1} \\ y_{21}^{l} &=w_{11}^{l} x_{21}^{l-1}+w_{12}^{l} x_{22}^{l-1}+w_{21}^{l} x_{31}^{l-1}+w_{22}^{l} x_{32}^{l-1} \\ y_{22}^{l} &=w_{11}^{l} x_{22}^{l-1}+w_{12}^{l} x_{23}^{l-1}+w_{21}^{l} x_{32}^{l-1}+w_{22}^{l} x_{33}^{l-1} \end{aligned} y11ly12ly21ly22l=w11lx11l1+w12lx12l1+w21lx21l1+w22lx22l1=w11lx12l1+w12lx13l1+w21lx22l1+w22lx23l1=w11lx21l1+w12lx22l1+w21lx31l1+w22lx32l1=w11lx22l1+w12lx23l1+w21lx32l1+w22lx33l1
可以发现, 由于共享权重, 一个权重 w i j w_{ij} wij的改变, 会影响所有的 y. 因而对某一个权重求梯度时, 需要运用全微分公式. 现在以 ∂ E ∂ w 11 l \frac{\partial E}{\partial w_{11}^{l}} w11lE 为例, 求得表达式
∂ E ∂ w 11 l = ∂ E ∂ y 11 l ∂ y 11 l ∂ w 11 l + ∂ E ∂ y 12 l ∂ y 12 l ∂ w 12 l + ∂ E ∂ y 21 l ∂ y 21 l ∂ w 21 l + ∂ E ∂ y 22 l ∂ y 22 l ∂ w 22 l = δ 11 l x 11 l − 1 + δ 12 l x 12 l − 1 + δ 21 l x 21 l − 1 + δ 22 l x 22 l − 1 \begin{array}{l}{\frac{\partial E}{\partial w_{11}^{l}}=\frac{\partial E}{\partial y_{11}^{l}} \frac{\partial y_{11}^{l}}{\partial w_{11}^{l}}+\frac{\partial E}{\partial y_{12}^{l}} \frac{\partial y_{12}^{l}}{\partial w_{12}^{l}}+\frac{\partial E}{\partial y_{21}^{l}} \frac{\partial y_{21}^{l}}{\partial w_{21}^{l}}+\frac{\partial E}{\partial y_{22}^{l}} \frac{\partial y_{22}^{l}}{\partial w_{22}^{l}}} \\ {=\delta_{11}^{l} x_{11}^{l-1}+\delta_{12}^{l} x_{12}^{l-1}+\delta_{21}^{l} x_{21}^{l-1}+\delta_{22}^{l} x_{22}^{l-1}}\end{array} w11lE=y11lEw11ly11l+y12lEw12ly12l+y21lEw21ly21l+y22lEw22ly22l=δ11lx11l1+δ12lx12l1+δ21lx21l1+δ22lx22l1
同理可得
∂ E ∂ w 12 ′ = δ 11 l x 12 l − 1 + δ 12 l x 13 l − 1 + δ 21 l x 22 l − 1 + δ 22 l x 23 l − 1 ∂ E ∂ w 21 l = δ 11 l x 21 l − 1 + δ 12 l x 22 l − 1 + δ 21 l x 31 l − 1 + δ 22 l x 32 l − 1 ∂ E ∂ u 2 l = δ 11 l x 22 l − 1 + δ 12 l x 23 l − 1 + δ 21 l x 32 l − 1 + δ 22 l x 33 l − 1 \begin{array}{l}{\frac{\partial E}{\partial w_{12}^{\prime}}=\delta_{11}^{l} x_{12}^{l-1}+\delta_{12}^{l} x_{13}^{l-1}+\delta_{21}^{l} x_{22}^{l-1}+\delta_{22}^{l} x_{23}^{l-1}} \\ {\frac{\partial E}{\partial w_{21}^{l}}=\delta_{11}^{l} x_{21}^{l-1}+\delta_{12}^{l} x_{22}^{l-1}+\delta_{21}^{l} x_{31}^{l-1}+\delta_{22}^{l} x_{32}^{l-1}} \\ {\frac{\partial E}{\partial u_{2}^{l}}=\delta_{11}^{l} x_{22}^{l-1}+\delta_{12}^{l} x_{23}^{l-1}+\delta_{21}^{l} x_{32}^{l-1}+\delta_{22}^{l} x_{33}^{l-1}}\end{array} w12E=δ11lx12l1+δ12lx13l1+δ21lx22l1+δ22lx23l1w21lE=δ11lx21l1+δ12lx22l1+δ21lx31l1+δ22lx32l1u2lE=δ11lx22l1+δ12lx23l1+δ21lx32l1+δ22lx33l1
根据得到的结果, 可以发现计算 ∂ E ∂ w i j l \frac{\partial E}{\partial w_{ij}^{l}} wijlE 的规律:在这里插入图片描述
首先将前面的图中卷积核和特征图调换一下位置, 将特征图矩阵的元素替换为 δ \delta δ, 将卷积核矩阵的元素替换为 E对 w的偏导. 根据前面得到的偏导公式, 可以发现特征图对输入矩阵卷积可得到右边黄色的偏导矩阵. 即

∂ E ∂ w l = conv2 ( δ l , x l − 1 , ’valid’ ) \frac{\partial E}{\partial w^l}=\text{conv2}(\delta^l,x^{l-1},\text{'valid'}) wlE=conv2(δl,xl1,’valid’)
公式中 w, δ \delta δ, x是以矩阵形式表达的. 同时, 可得到
∂ E ∂ b l = ∂ E ∂ v 11 l ∂ v 11 l ∂ b l + ∂ E ∂ v 12 l ∂ v 12 l ∂ b l + ∂ E ∂ v 21 l ∂ v 21 l ∂ b l + ∂ E ∂ v 22 l ∂ v 22 l ∂ b l = δ 11 l + δ 12 l + δ 21 l + δ 22 l = ∑ i ∑ j δ i j l \begin{array}{l}{\frac{\partial E}{\partial b^{l}}=\frac{\partial E}{\partial v_{11}^{l}} \frac{\partial v_{11}^{l}}{\partial b^{l}}+\frac{\partial E}{\partial v_{12}^{l}} \frac{\partial v_{12}^{l}}{\partial b^{l}}+\frac{\partial E}{\partial v_{21}^{l}} \frac{\partial v_{21}^{l}}{\partial b^{l}}+\frac{\partial E}{\partial v_{22}^{l}} \frac{\partial v_{22}^{l}}{\partial b^{l}}} \\ {=\delta_{11}^{l}+\delta_{12}^{l}+\delta_{21}^{l}+\delta_{22}^{l}} \\ {=\sum_{i} \sum_{j} \delta_{i j}^{l}}\end{array} blE=v11lEblv11l+v12lEblv12l+v21lEblv21l+v22lEblv22l=δ11l+δ12l+δ21l+δ22l=ijδijl

δ \delta δ 递归公式的推导

CNN 是一种前馈型神经网络, 每一个神经元只与前一层神经元相连, 接受前一层的输出, 经过运算后输出给下一层, 各层之间没有反馈. 因此对于计算局部梯度, 可以根据后一层神经元的梯度, 递归地向前传递. 首先根据前面演示过的一张图
在这里插入图片描述
局部梯度的定义公式
δ i j l − 1 = ∂ E ∂ v i j l − 1 = ∂ E ∂ y i j l − 1 ∂ y i j l − 1 ∂ v i j l − 1 = ∂ E ∂ y i j l − 1 φ ( v i j l − 1 ) \delta_{i j}^{l-1}=\frac{\partial E}{\partial v_{i j}^{l-1}}=\frac{\partial E}{\partial y_{i j}^{l-1}} \frac{\partial y_{i j}^{l-1}}{\partial v_{i j}^{l-1}}=\frac{\partial E}{\partial y_{i j}^{l-1}} \varphi\left(v_{i j}^{l-1}\right) δijl1=vijl1E=yijl1Evijl1yijl1=yijl1Eφ(vijl1)
现在我们求出几项 ∂ E ∂ v i j l − 1 \frac{\partial E}{\partial v_{ij}^{l-1}} vijl1E​ 来寻找规律, 首先假设图中第 l层中的 δ 已知, 根据卷积运算的原理可得
v 11 l = w 11 l x 11 l − 1 + w 12 l x 12 l − 1 + w 21 l x 21 l − 1 + w 22 l x 22 l − 1 + b ∂ E ∂ y 11 l = ∂ E ∂ v 11 l ∂ v 11 l ∂ y 11 l = δ 11 l w 11 l \begin{array}{l}{v_{11}^{l}=w_{11}^{l} x_{11}^{l-1}+w_{12}^{l} x_{12}^{l-1}+w_{21}^{l} x_{21}^{l-1}+w_{22}^{l} x_{22}^{l-1}+b} \\ {\frac{\partial E}{\partial y_{11}^{l}}=\frac{\partial E}{\partial v_{11}^{l}} \frac{\partial v_{11}^{l}}{\partial y_{11}^{l}}=\delta_{11}^{l} w_{11}^{l}}\end{array} v11l=w11lx11l1+w12lx12l1+w21lx21l1+w22lx22l1+by11lE=v11lEy11lv11l=δ11lw11l
同理可得
∂ E ∂ y 12 1 = δ 11 l w 12 l + δ 12 l w 11 l ∂ E ∂ y 22 l = δ 11 l w 22 l + δ 12 l w 21 l + δ 21 l w 12 l + δ 22 l w 11 l \begin{array}{l}{\frac{\partial E}{\partial y_{12}^{1}}=\delta_{11}^{l} w_{12}^{l}+\delta_{12}^{l} w_{11}^{l}} \\ {\frac{\partial E}{\partial y_{22}^{l}}=\delta_{11}^{l} w_{22}^{l}+\delta_{12}^{l} w_{21}^{l}+\delta_{21}^{l} w_{12}^{l}+\delta_{22}^{l} w_{11}^{l}}\end{array} y121E=δ11lw12l+δ12lw11ly22lE=δ11lw22l+δ12lw21l+δ21lw12l+δ22lw11l
则可以发现 ∂ E ∂ y i j l − 1 \frac{\partial E}{\partial y_{ij}^{l-1}} yijl1E 的计算公式可以表达为上图中黄色卷积核在补零后的特征图卷积, 步幅为 1.
∂ E ∂ y l − 1 = conv2 ⁡ ( rot ⁡ 180 ( w l ) , δ l ,  ’full’  ) \frac{\partial E}{\partial y^{l-1}}=\operatorname{conv2}\left(\operatorname{rot} 180\left(w^{l}\right), \delta^{l}, \text { 'full' }\right) yl1E=conv2(rot180(wl),δl, ’full’ )
代入局部梯度公式得

δ l − 1 = conv2 ⁡ ( rot ⁡ 180 ( w l ) , δ l ,  ’full’  ) φ ′ ( v l − 1 ) \delta^{l-1}=\operatorname{conv2}\left(\operatorname{rot} 180\left(w^{l}\right), \delta^{l}, \text { 'full' }\right)\varphi^{\prime}(v^{l-1}) δl1=conv2(rot180(wl),δl, ’full’ )φ(vl1)

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
卷积神经网络(Convolutional Neural Network,CNN)是一种机器学习算法,其主要应用于图像识别、计算机视觉和模式识别等领域。CNN模型的设计灵感来源于科学家们对于生物视觉系统的研究。该算法的核心概念是通过卷积层、池化层和全连接层的组合,对输入的图像进行特征提取和分类。 在CNN中,卷积层是该模型的主要组成部分之一。通过定义一组卷积核(或过滤器),卷积层可以对输入的图像进行滤波操作,将原始图像中的特定特征(例如边缘和纹理)提取出来,并生成一系列特征图。这些特征图可以被认为是对原始图像进行不同尺度和方向的特征提取。 在经过卷积层之后,通常会接着使用池化层来进行下采样操作。池化层的主要目的是减小特征图的尺寸,同时保留重要的特征信息。最常见的池化操作是最大池化,它通过从特定区域选择最大值来减小特征图的尺寸。 最后,经过卷积层和池化层的多次迭代后,最后会以全连接层作为输出层,进行分类任务。全连接层的每个节点都与前一层的所有节点相连接,主要用于将最后一层的特征进行整合,并根据特征进行分类或回归。 相比于传统机器学习算法,CNN在处理图像任务方面具有更好的性能。这是因为卷积层可以通过共享权重和局部连接的方式进行参数的共享,大大减少了需要训练的参数数量,并且能够有效处理图像的平移不变性。此外,卷积神经网络还可以通过堆叠多个卷积层和全连接层来构建深层网络模型,从而进一步提高模型的性能。 总而言之,卷积神经网络是一种强大的机器学习算法,特别适用于图像识别和计算机视觉任务。通过卷积层、池化层和全连接层的组合,CNN可以有效地提取图像中的特征,并进行分类或回归等任务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值