第六章.卷积神经网络(CNN)—卷积层(Convolution)&池化层(Pooling)

已于 2023-02-20 17:20:29 修改
阅读量4.5k 收藏 60
点赞数 4
分类专栏： 深度学习入门—基于Python的理论与实现（[日]斋藤康毅） 文章标签： cnn 深度学习 神经网络 卷积层-Convolution 池化层-Pooling
于 2023-02-20 17:15:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45116749/article/details/129087855
版权

第六章.卷积神经网络(CNN)

6.1 卷积层(Convolution)&池化层(Pooling)

1.整体结构

以5层神经网络的实现为例：

1).基于全连接层(Affine)的网络

全连接层：相邻层的所有神经元之间都有连接
在这里插入图片描述

2).常见的CNN的网络

在这里插入图片描述

3).全连接层存在的问题

数据的形状容易被“忽视”了，比如输入的数据是图像时，图像通常是高，长，通道方向上的3维形状，但是，全连接层输入时，需要将3维数据拉平为1维数据，所以无法利用与形状相关的信息。

2.卷积层

卷积层可以保持形状不变，当输入数据是图像时，卷积层会以3维数据的形式接受输入数据，并同样以3维数据的形式输出至下一层，因此在CNN中可以正确理解图像等具有形状的数据。

1).卷积运算

  • 一维数据的卷积计算

    示例：填充为0，步幅为1的卷积运算在这里插入图片描述

  • 三维数据的卷积计算

    示例：填充为0，步幅为1的卷积运算
    在这里插入图片描述
    计算方式：
    通道方向有多特征图时，会按通道进行输入数据和滤波器的卷积运算，并结果相加，从而得到输出。

    注意：
    ①.在三维数据的卷积运算中，输入数据和滤波器的通道数必须设置为相同的值。(在本例中同时设置为3)

  • 结合方块来思考卷积计算
    在这里插入图片描述
    图像描述:
    每个通道只有一个偏置，这里偏置的形状为(FN,1,1)，滤波器的输出结果形状为（FN,OH,OW）,这两个方块相加，要对滤波器的输出结果按通道加上相同的偏置。

  • 卷积计算的批处理
    在这里插入图片描述
    注意：
    ①.网络间传递的是四维数据，对这N个数据进行了卷积运算，也就是说，批处理将N次的处理汇总成1次进行。

2).填充&步幅

  • 填充

    ①.定义：
    在进行卷积层处理之前，有时需要向输入数据的周围填入固定的数据(比如填充值0等)，这称为填充。
    在这里插入图片描述

    ②.目的：
    主要是为了调整输出的大小，因为每次在进行卷积运算时都会缩小空间，那么在某个时刻输出大小就有可能变为1，导致无法在进行卷积运算，为了避免出现这种情况，就要使用填充

  • 步幅

    ①.定义：
    应用滤波器的位置间隔称为步幅。(之前的应用都是步幅为1，下面的应用步幅为2)
    在这里插入图片描述

3).计算输出核的大小

假设输入大小为（H,W）,滤波大小为（FH,FW）,输出大小为（OH,OW）,填充为P，步幅为S，输出大小为：
在这里插入图片描述
注意：
①.所设定的值必须使式(H+2P-FH)/S和(W+2P-FW)/S分别可以整除，当输入大小无法整除时，需要采取报错等对策。有的深度学习框架，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续进行。

4).实现扩展

①.CNN处理4维数据时，卷积运算的实现看上去会很复杂，可以使用im2col（图像转化成矩阵）这个技巧，问题会变得很简单。

②.im2col函数会将输入数据展开以适合滤波器（权重）。具体来说，对于输入数据，将应用滤波器的区域（3维方块）横向展开为一列。

在这里插入图片描述
③.卷积运算的滤波器处理细节：使用im2col函数展开输入数据后，将卷积层的滤波器纵向展开为一列，计算两个矩阵的乘积，最后转化（reshape）为输出数据大小。
在这里插入图片描述

5).卷积层的实现

import numpy as np


# 从图像到矩阵
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_data.shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1

    img = np.pad(input_data, [(0, 0), (0, 0), (pad, pad), (pad, pad)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)

    return col


# 从矩阵到图像
def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2 * pad + stride - 1, W + 2 * pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]


class Convolution:
    def __init__(self, W, b, stride=1, pad=0):
        self.W = W
        self.b = b
        self.stride = stride
        self.pad = pad

        # 中间数据（backward时使用）
        self.x = None
        self.col = None
        self.col_W = None

        # 权重和偏置参数的梯度
        self.dW = None
        self.db = None

    # 正向传播
    def forward(self, x):
        FN, C, FH, FW = self.W.shape
        N, C, H, W = x.shape
        out_h = int((H + 2 * self.pad - FH) / self.stride) + 1
        out_w = int((W + 2 * self.pad - FW) / self.stride) + 1

        col = im2col(x, FH, FW, self.stride, self.pad)
        col_W = self.W.reshape(FN, -1).T

        out = np.dot(col, col_W) + self.b
        out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)

        self.x = x
        self.col = col
        self.col_W = col_W

        return out

    # 反向传播
    def backward(self, dout):
        FN, C, FH, FW = self.W.shape
        dout = dout.transpose(0, 2, 3, 1).reshape(-1, FN)

        self.db = np.sum(dout, axis=0)
        self.dW = np.dot(self.col.T, dout)
        self.dW = self.dW.transpose(1, 0).reshape(FN, C, FH, FW)

        dcol = np.dot(dout, self.col_W.T)
        dx = col2im(dcol, self.x.shape, FH, FW, self.stride, self.pad)

        return dx

3.池化层

池化是缩小高，长方向上的空间运算。

1).池化的处理方法

示例：填充为0，步幅为2的池化

  • Max池化：(本书中所说的池化层是Max池化)
    方式：从目标区域中取最大值
    在这里插入图片描述

  • Average池化：
    方式：从目标区域中取均值在这里插入图片描述

2).池化层的特征

  • 没有要学习的参数：
    池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中选出最大值（或均值）。

  • 通道数不发生改变：
    经过池化运算，输入数据和输出数据的通道数不发生变化，计算是按通道独立进行的。
    在这里插入图片描述

  • 对微小的位置变化具有鲁棒性（健壮）：
    输入数据发生微小偏差时，池化仍会返回相同的结果。

    示例：输入数据在高方向上只偏离一个像素时：
    在这里插入图片描述

3).池化层的实现步骤

①.展开输入数据：
②.求各行的最大值：
③.转换为合适的输出大小：

在这里插入图片描述

4).池化层的实现

import numpy as np


# 从图像到矩阵
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_data.shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1

    img = np.pad(input_data, [(0, 0), (0, 0), (pad, pad), (pad, pad)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)

    return col


# 从矩阵到图像
def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2 * pad + stride - 1, W + 2 * pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]


class Pooling:
    def __init__(self, pool_h, pool_w, stride=1, pad=0):
        self.pool_h = pool_h
        self.pool_w = pool_w
        self.stride = stride
        self.pad = pad

        self.x = None
        self.arg_max = None

    # 正向传播
    def forward(self, x):
        N, C, H, W = x.shape
        out_h = int(1 + (H - self.pool_h) / self.stride)
        out_w = int(1 + (W - self.pool_w) / self.stride)

        col = im2col(x, self.pool_h, self.pool_w, self.stride, self.pad)
        col = col.reshape(-1, self.pool_h * self.pool_w)

        arg_max = np.argmax(col, axis=1)
        out = np.max(col, axis=1)
        out = out.reshape(N, out_h, out_w, C).transpose(0, 3, 1, 2)

        self.x = x
        self.arg_max = arg_max

        return out

    # 反向传播
    def backward(self, dout):
        dout = dout.transpose(0, 2, 3, 1)

        pool_size = self.pool_h * self.pool_w
        dmax = np.zeros((dout.size, pool_size))
        dmax[np.arange(self.arg_max.size), self.arg_max.flatten()] = dout.flatten()
        dmax = dmax.reshape(dout.shape + (pool_size,))

        dcol = dmax.reshape(dmax.shape[0] * dmax.shape[1] * dmax.shape[2], -1)
        dx = col2im(dcol, self.x.shape, self.pool_h, self.pool_w, self.stride, self.pad)

        return dx
归途^ω^
关注
  • 4
    点赞
  • 踩
  • 60
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深入学习卷积神经网络中卷积层和池化层的意义
fu6543210的博客
09-22 8万+
  为什么要使用卷积呢？ 　　在传统的神经网络中，比如多层感知机（MLP），其输入通常是一个特征向量：需要人工设计特征，然后将这些特征计算的值组成特征向量，在过去几十年的经验来看，人工找到的特征并不是怎么好用，特征有时多了（需要PCA降维），特征有时少了（容易过拟合），有时选择的特征根本就不起作用（真正起作用的特征在浩瀚的未知里面）。这就是为什么在过去卷积神经网络一直被SVM等完虐的原因。 ...
卷积层与池化层
Aliz_
08-04 7万+
构建了最简单的网络之后，是时候再加上卷积和池化了。这篇，虽然我还没开始构思，但我知道，一定是很长的文章。 卷积神经网络（Convolutional Neural Layer, CNN)，除了全连接层以外（有时候也不含全连接层，因为出现了Global average pooling），还包含了卷积层和池化层。卷积层用来提取特征，而池化层可以减少参数数量。 卷积层 先谈一下卷积层的工作原理。...
卷积神经网络（CNN）自学笔记2：卷积层
最新发布
yuyu_297的博客
05-25 2691
卷积层是卷积神经网络的基本组成之一，主要作用是用于提取图像特征。
卷积神经网络 --- 卷积层
AI_dataloads的博客
09-24 3142
具体的步骤如下：1.在图像的某个位置上覆盖滤波器；2.将滤波器中的值与图像中的对应像素的值相乘；3.把上面的乘积加起来，得到的和是输出图像中目标像素的值；4.对图像的所有位置重复此操作。这个3x3滤波器，通常称为垂直索伯滤波器用它来处理照片会得到什么呢？由此，我们可以看出，索伯滤波器是是边缘检测器。现在可以解释卷积操作的用处了：用输出图像中更亮的像素表示原始图像中存在的边缘。二、
卷积神经网络各层基本知识
ZONGXP的博客
05-26 6万+
参考：https://blog.csdn.net/yjl9122/article/details/70198357卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）卷积层用它来进行特征提取，如下：输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3...
卷积神经网络中池化层的详细介绍
a486259的博客
06-20 6622
自从2021年Transformer被引入到视觉模型后，卷积神经网络基本上要末路了，虽然此后也有ConvNeXt、SegNeXt成功挑战过Transformer的地位，但也无力挽回卷积神经网络的大势已去。ConvNeXt使用了一些列的训练技巧（AdamW 优化器、Mixup、Cutmix、RandAugment、Random Erasing等数据增强技）和随机深度和标签平滑等正则化方案，也不过是勉强将 ResNet-50 模型的性能从 76.1% 提高到了 78.8%。
神经网络卷积层以及池化层介绍
kking_edc的博客
09-29 6877
一、二维卷积层 池化层的提出是为了缓解卷积层对位置的过度敏感性。 一、二维最大池化层和平均池化层 同卷积层⼀样，池化层每次对输⼊数据的⼀个固定形状窗⼝（⼜称池化窗⼝）中的元素计算输出。不同于卷积层⾥计算输⼊和核的互相关性，池化层直接计算池化窗⼝内元素的最⼤值或者平均值。该运算也分别叫做最⼤池化或平均池化。在⼆维最⼤池化中，池化窗⼝从输⼊数组的最左上⽅开始，按从左往右、从上往下的顺序，依次在输⼊数组上滑动。当池化窗⼝滑动到某⼀位置时，窗⼝中的输⼊⼦数组的最⼤值即输出数组中相应位置的元素。 下图展示了池化窗口形
cnn.zip_CNN_deep learning_卷积神经网络_神经网络
09-21
在mxnetR中，可以使用`mx.symbol.Convolution`函数创建卷积层，`mx.symbol.Pooling`创建池化层。 2. **设置超参数**：这包括学习率、权重衰减、优化器类型等。常见的优化器有随机梯度下降（SGD）、动量SGD、Adam等...
DeepLearning深度学习教程_第五章 卷积神经网络(CNN).pdf
08-23
卷积神经网络（CNN）是深度学习中一种关键的架构，尤其在图像处理领域表现出色。CNN通过模拟人脑视觉皮层的工作原理，利用卷积层、池化层、激活层等组件，有效地提取和学习图像特征。以下是关于CNN的一些核心知识点...
faceRecognition.zip_CNN MATLAB_卷积神经网络_深度学习 matlab_深度神经网络
07-14
CNN是一种特殊的神经网络，它的核心在于卷积层和池化层。卷积层通过一组可学习的滤波器（或称卷积核）对输入图像进行扫描，提取特征；池化层则用于降低数据维度，提高模型的计算效率并防止过拟合。CNN还包括全连接层...
深度学习500问-Tan-05第五章 卷积神经网络（CNN）1
08-03
本章主要探讨了CNN的基本组成、卷积层如何检测边缘信息以及卷积的几个基本定义，并对不同类型的卷积网络进行了分类。 首先，CNN主要由三种层构成：卷积运算层、池化层和全连接层。这些层相互叠加，共同完成从原始...
卷积神经网络基础（CNN)
01-06
文章目录卷积神经网络基础二维互相关运算二维卷积层互相关运算与卷积运算特征图和感受野填充和步幅填充步幅多输入通道和多输出通道多输入通道多输出通道1×1卷积层卷积层与全连接层的比较卷积层的pytorch实现池化层...
卷积层和池化层总结
frighting_ing的博客
04-21 2588
卷积层和池化层 卷积层通常是用作对输入层输入数据进行特征提取。池化层负责对感受域内的特征进行筛选，提取区域内最具代表性的特征，能够有效地降低输出尺度，进而减少模型所需要的参数量 卷积层次 特征类型 浅层卷积 边缘特征 中层卷积 局部特征 深层卷积 全局特征 卷积的类型 标准卷积 扩张卷积/空洞卷积 转置卷积 可分离卷积 池化类型 一般池化 重叠池化 空间金字塔池化(多尺度目标训练) 区别 卷积层 池化层 结构 零填充时输出维度不变，而通道数改变 通常特征
卷积神经网络之卷积层理解(持续更新)
qq_39940390的博客
09-06 1万+
卷积神经网络中卷积层的理解与代码实现。
卷积神经网络（CNN）详细介绍及其原理详解
热门推荐
IronmanJay的博客
01-14 14万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
【卷积神经网络】卷积层，池化层，全连接层
idwtwt的专栏
02-18 5万+
转于：《入门PyTorch》 卷积层是卷积神经网络的核心， 大多数计算都是在卷积层中进行的。 1 卷积层 1.1 概述 首先介绍卷积神经网络的参数。 这些参数是由一些可学习的滤波器集合构成的， 每个滤波器在空间上（ 宽度和高度） 都比较小， 但是深度和输入数据的深度保持一致。 举例来说， 卷积神经网络的第一层卷积一个典型的滤波器的尺寸可以是5×5×3（ 宽和高都是5） ， 或者是3×3...
卷积神经网络中的“池化层”
南淮北安的博客
09-09 9925
文章目录一、什么是“迟化”二、“池化层”的作用 一、什么是“迟化” 池化（Pooling）是卷积神经网络中另一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置...
卷积神经网络中卷积层、池化层、全连接层的作用
shinemyangel的博客
05-31 9万+
1. 卷积层的作用 卷积层的作用是提取输入图片中的信息，这些信息被称为图像特征。 2. 池化层的作用 chi'h 3. 全连接层的作用
CNN网络结构——卷积层
小白一直白
08-09 3582
目录前言局部连接参数共享卷积层卷积运算卷积运算过程——二维卷积运算代码实现——二维卷积层及代码实现——三维代码实现——3D增加步长的卷积运算 前言 发展卷积神经网络的初衷是进行图像分类。图像主要有如下3个特性 多层次结构：如一张人脸由鼻子、嘴巴、眼睛等组成 特征局部性：如眼睛在一张图片中就局限在一个小区域内 平移不变性：如不管眼睛出现在图片的哪个位置，特征提取器都可以找出来 虽然卷积网络是为图像分类而发展起来的，但现在已经被用在各种任务中，如语音识别和机器翻译等。只要信号满足多层次结构、特征局部性
详细阐述卷积神经网络的卷积层
05-26
卷积神经网络（Convolutional Neural Network，CNN）的卷积层是其中的核心组成部分。卷积层主要用于提取输入图像的特征，以便后续神经网络对这些特征进行分类或回归等任务。 卷积层的基本思想是通过卷积操作（convolution operation）来提取输入图像中的特征。卷积操作是一种数学运算，它通过将一个滤波器（filter）或卷积核（kernel）从左到右、从上到下地遍历输入图像，并将滤波器内的像素值与输入图像对应位置的像素值进行乘积运算，最后将所有乘积的结果相加得到卷积输出。 卷积层通常包含多个卷积核，每个卷积核可以提取输入图像的不同特征。例如，一个卷积核可以提取边缘特征，另一个卷积核可以提取纹理特征等。每个卷积核的大小和深度（即通道数）可以根据需要进行自定义。 卷积层的输出通常是多个二维特征图（feature map），每个特征图都对应一个卷积核提取的特定特征。卷积层的输出通常会经过激活函数（如ReLU）进行非线性处理，以增强网络的非线性表达能力。 卷积层的参数包括卷积核的大小、深度和步长（stride），以及是否使用零填充（zero-padding）等。这些参数的设置可以影响卷积层的输出大小和特征提取能力。 总之，卷积层是卷积神经网络中非常重要的组成部分，它可以有效地提取输入图像的特征，为后续的神经网络提供有用的信息。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值