第六章.卷积神经网络(CNN)—卷积层(Convolution)&池化层(Pooling)

已于 2023-02-20 17:20:29 修改
阅读量4.6k 收藏 61
点赞数 4
分类专栏： 深度学习入门—基于Python的理论与实现（[日]斋藤康毅） 文章标签： cnn 深度学习 神经网络 卷积层-Convolution 池化层-Pooling
于 2023-02-20 17:15:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45116749/article/details/129087855
版权
本文介绍了卷积神经网络（CNN）的基础，包括卷积层如何保持数据形状，卷积运算的细节，如填充和步幅对输出大小的影响，以及im2col函数在简化卷积运算中的作用。同时，文章还讨论了池化层的功能，如最大池化和平均池化，以及它们在处理图像数据时的优势。
摘要由CSDN通过智能技术生成

第六章.卷积神经网络(CNN)

6.1 卷积层(Convolution)&池化层(Pooling)

1.整体结构

以5层神经网络的实现为例：

1).基于全连接层(Affine)的网络

全连接层：相邻层的所有神经元之间都有连接
在这里插入图片描述

2).常见的CNN的网络

在这里插入图片描述

3).全连接层存在的问题

数据的形状容易被“忽视”了，比如输入的数据是图像时，图像通常是高，长，通道方向上的3维形状，但是，全连接层输入时，需要将3维数据拉平为1维数据，所以无法利用与形状相关的信息。

2.卷积层

卷积层可以保持形状不变，当输入数据是图像时，卷积层会以3维数据的形式接受输入数据，并同样以3维数据的形式输出至下一层，因此在CNN中可以正确理解图像等具有形状的数据。

1).卷积运算

  • 一维数据的卷积计算

    示例：填充为0，步幅为1的卷积运算在这里插入图片描述

  • 三维数据的卷积计算

    示例：填充为0，步幅为1的卷积运算
    在这里插入图片描述
    计算方式：
    通道方向有多特征图时，会按通道进行输入数据和滤波器的卷积运算，并结果相加，从而得到输出。

    注意：
    ①.在三维数据的卷积运算中，输入数据和滤波器的通道数必须设置为相同的值。(在本例中同时设置为3)

  • 结合方块来思考卷积计算
    在这里插入图片描述
    图像描述:
    每个通道只有一个偏置，这里偏置的形状为(FN,1,1)，滤波器的输出结果形状为（FN,OH,OW）,这两个方块相加，要对滤波器的输出结果按通道加上相同的偏置。

  • 卷积计算的批处理
    在这里插入图片描述
    注意：
    ①.网络间传递的是四维数据，对这N个数据进行了卷积运算，也就是说，批处理将N次的处理汇总成1次进行。

2).填充&步幅

  • 填充

    ①.定义：
    在进行卷积层处理之前，有时需要向输入数据的周围填入固定的数据(比如填充值0等)，这称为填充。
    在这里插入图片描述

    ②.目的：
    主要是为了调整输出的大小，因为每次在进行卷积运算时都会缩小空间，那么在某个时刻输出大小就有可能变为1，导致无法在进行卷积运算，为了避免出现这种情况，就要使用填充

  • 步幅

    ①.定义：
    应用滤波器的位置间隔称为步幅。(之前的应用都是步幅为1，下面的应用步幅为2)
    在这里插入图片描述

3).计算输出核的大小

假设输入大小为（H,W）,滤波大小为（FH,FW）,输出大小为（OH,OW）,填充为P，步幅为S，输出大小为：
在这里插入图片描述
注意：
①.所设定的值必须使式(H+2P-FH)/S和(W+2P-FW)/S分别可以整除，当输入大小无法整除时，需要采取报错等对策。有的深度学习框架，当值无法除尽时，有时会向最接近的整数四舍五入，不进行报错而继续进行。

4).实现扩展

①.CNN处理4维数据时，卷积运算的实现看上去会很复杂，可以使用im2col（图像转化成矩阵）这个技巧，问题会变得很简单。

②.im2col函数会将输入数据展开以适合滤波器（权重）。具体来说，对于输入数据，将应用滤波器的区域（3维方块）横向展开为一列。

在这里插入图片描述
③.卷积运算的滤波器处理细节：使用im2col函数展开输入数据后，将卷积层的滤波器纵向展开为一列，计算两个矩阵的乘积，最后转化（reshape）为输出数据大小。
在这里插入图片描述

5).卷积层的实现

import numpy as np


# 从图像到矩阵
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_data.shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1

    img = np.pad(input_data, [(0, 0), (0, 0), (pad, pad), (pad, pad)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)

    return col


# 从矩阵到图像
def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2 * pad + stride - 1, W + 2 * pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]


class Convolution:
    def __init__(self, W, b, stride=1, pad=0):
        self.W = W
        self.b = b
        self.stride = stride
        self.pad = pad

        # 中间数据（backward时使用）
        self.x = None
        self.col = None
        self.col_W = None

        # 权重和偏置参数的梯度
        self.dW = None
        self.db = None

    # 正向传播
    def forward(self, x):
        FN, C, FH, FW = self.W.shape
        N, C, H, W = x.shape
        out_h = int((H + 2 * self.pad - FH) / self.stride) + 1
        out_w = int((W + 2 * self.pad - FW) / self.stride) + 1

        col = im2col(x, FH, FW, self.stride, self.pad)
        col_W = self.W.reshape(FN, -1).T

        out = np.dot(col, col_W) + self.b
        out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)

        self.x = x
        self.col = col
        self.col_W = col_W

        return out

    # 反向传播
    def backward(self, dout):
        FN, C, FH, FW = self.W.shape
        dout = dout.transpose(0, 2, 3, 1).reshape(-1, FN)

        self.db = np.sum(dout, axis=0)
        self.dW = np.dot(self.col.T, dout)
        self.dW = self.dW.transpose(1, 0).reshape(FN, C, FH, FW)

        dcol = np.dot(dout, self.col_W.T)
        dx = col2im(dcol, self.x.shape, FH, FW, self.stride, self.pad)

        return dx

3.池化层

池化是缩小高，长方向上的空间运算。

1).池化的处理方法

示例：填充为0，步幅为2的池化

  • Max池化：(本书中所说的池化层是Max池化)
    方式：从目标区域中取最大值
    在这里插入图片描述

  • Average池化：
    方式：从目标区域中取均值在这里插入图片描述

2).池化层的特征

  • 没有要学习的参数：
    池化层和卷积层不同，没有要学习的参数。池化只是从目标区域中选出最大值（或均值）。

  • 通道数不发生改变：
    经过池化运算，输入数据和输出数据的通道数不发生变化，计算是按通道独立进行的。
    在这里插入图片描述

  • 对微小的位置变化具有鲁棒性（健壮）：
    输入数据发生微小偏差时，池化仍会返回相同的结果。

    示例：输入数据在高方向上只偏离一个像素时：
    在这里插入图片描述

3).池化层的实现步骤

①.展开输入数据：
②.求各行的最大值：
③.转换为合适的输出大小：

在这里插入图片描述

4).池化层的实现

import numpy as np


# 从图像到矩阵
def im2col(input_data, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_data.shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1

    img = np.pad(input_data, [(0, 0), (0, 0), (pad, pad), (pad, pad)], 'constant')
    col = np.zeros((N, C, filter_h, filter_w, out_h, out_w))

    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]

    col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)

    return col


# 从矩阵到图像
def col2im(col, input_shape, filter_h, filter_w, stride=1, pad=0):
    N, C, H, W = input_shape
    out_h = (H + 2 * pad - filter_h) // stride + 1
    out_w = (W + 2 * pad - filter_w) // stride + 1
    col = col.reshape(N, out_h, out_w, C, filter_h, filter_w).transpose(0, 3, 4, 5, 1, 2)

    img = np.zeros((N, C, H + 2 * pad + stride - 1, W + 2 * pad + stride - 1))
    for y in range(filter_h):
        y_max = y + stride * out_h
        for x in range(filter_w):
            x_max = x + stride * out_w
            img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

    return img[:, :, pad:H + pad, pad:W + pad]


class Pooling:
    def __init__(self, pool_h, pool_w, stride=1, pad=0):
        self.pool_h = pool_h
        self.pool_w = pool_w
        self.stride = stride
        self.pad = pad

        self.x = None
        self.arg_max = None

    # 正向传播
    def forward(self, x):
        N, C, H, W = x.shape
        out_h = int(1 + (H - self.pool_h) / self.stride)
        out_w = int(1 + (W - self.pool_w) / self.stride)

        col = im2col(x, self.pool_h, self.pool_w, self.stride, self.pad)
        col = col.reshape(-1, self.pool_h * self.pool_w)

        arg_max = np.argmax(col, axis=1)
        out = np.max(col, axis=1)
        out = out.reshape(N, out_h, out_w, C).transpose(0, 3, 1, 2)

        self.x = x
        self.arg_max = arg_max

        return out

    # 反向传播
    def backward(self, dout):
        dout = dout.transpose(0, 2, 3, 1)

        pool_size = self.pool_h * self.pool_w
        dmax = np.zeros((dout.size, pool_size))
        dmax[np.arange(self.arg_max.size), self.arg_max.flatten()] = dout.flatten()
        dmax = dmax.reshape(dout.shape + (pool_size,))

        dcol = dmax.reshape(dmax.shape[0] * dmax.shape[1] * dmax.shape[2], -1)
        dx = col2im(dcol, self.x.shape, self.pool_h, self.pool_w, self.stride, self.pad)

        return dx
归途^ω^
关注
专栏目录
卷积神经网络CNN-卷积层
weixin_58420524的博客
02-04 2023
CNN卷积神经网络的卷积层详解，对卷积进行实例的理解，以及图像卷积操作。
卷积层与池化层
Aliz_
08-04 7万+
构建了最简单的网络之后，是时候再加上卷积和池化了。这篇，虽然我还没开始构思，但我知道，一定是很长的文章。 卷积神经网络（Convolutional Neural Layer, CNN)，除了全连接层以外（有时候也不含全连接层，因为出现了Global average pooling），还包含了卷积层和池化层。卷积层用来提取特征，而池化层可以减少参数数量。 卷积层 先谈一下卷积层的工作原理。...
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解（图文解释）
showswoller的博客
12-21 1万+
【Python机器学习】卷积神经网络卷积层、池化层、Flatten层、批标准化层的讲解（图文解释）
卷积神经网络 - 池化(Pooling)篇
最新发布
绎岚科技的博客
08-03 1424
在深度学习的广阔领域中，卷积神经网络（CNN）以其卓越的特征提取能力，在图像识别、视频处理及自然语言处理等多个领域展现出非凡的潜力。而池化（Pooling）作为CNN中的关键组件之一，扮演着不可或缺的角色。池化层位于连续的卷积层之间，其主要目的是通过降低特征图的维度（即减少数据的空间大小），来减少网络中的参数数量和计算量，同时保留重要特征，有效防止过拟合，并增强模型的空间不变性。简而言之，池化是CNN实现高效学习与泛化能力的重要策略之一。
Deep Learning 学习随记（七）Convolution and Pooling --卷积和池化
weixin_30552635的博客
11-09 197
图像大小与参数个数： 前面几章都是针对小图像块处理的，这一章则是针对大图像进行处理的。两者在这的区别还是很明显的，小图像（如8*8，MINIST的28*28）可以采用全连接的方式（即输入层和隐含层直接相连）。但是大图像，这个将会变得很耗时：比如96*96的图像，若采用全连接方式，需要96*96个输入单元，然后如果要训练100个特征，只这一层就需要96*96*100个参数（W,b），训练时间将是前...
**卷积神经网络（CNN） 卷积层和池化层**
qq_40584445的博客
08-28 1415
卷积神经网络（CNN） 卷积层和池化层 （1）卷积层：用来进行特征提取，假设输入图像是32*32*3，3是它的深度（即R,G，B），卷积层是一个5*5*3的filter（感受野/滤波器）。感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图（使用两个filter将得到两个特征图）；通常使用多层卷积层来得到更深层次的特征图。 输入图...
神经网络：卷积层和池化层
悠眠小虫的博客
01-13 2217
本文主要是对卷积层和池化层做了详细介绍，同时也说明了两者间的联系，并结合相关代码和实例结果帮助读者进一步理解卷积和池化的作用，逐步理清神经网络的结构层次和原理。
卷积神经网络的卷积过程,卷积神经网络的卷积层
super67269的博客
08-30 323
border_mode可以是valid或者full，具体看这里说明：.conv2d#激活函数用tanh#你还可以在(Activation('tanh'))后加上dropout的技巧: (Dropout(0.5))(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) (Activation('tanh'))#第二个卷积层，8个卷积核，每个卷积核大小3*3。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。..
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
CV：CNN（Convolutional Neural Networks，卷积神经网络）概述【(卷积层×n+池化层)×m+全连接层】【卷积层输出长宽维度：O= (I+2P-F)/S+1、通道数：K 】
u013250861的博客
12-18 2503
卷积神经网络（Convolutional Neural Networks / CNNs / ConvNets）与普通神经网络非常相似，它们都由具有可学习的权重和偏置常量(biases)的神经元组成。每个神经元都接收一些输入，并做一些点积计算，输出是每个分类的分数，全连接神经网络(DNN)里的一些计算技巧到这里依旧适用。 - CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等功能。 - 一个卷积神
详解卷积神经网络(CNN)
qq_25762497的博客
04-04 25万+
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
UFLDL Exercise: Convolution and Pooling 卷积和池化
01-01
UFLDL Exercise: Convolution and Pooling 卷积和池化 matlab代码 只需下载训练集和测试集就可以直接运行
cnn-示例.rar_CNN_cnn 图像识别_image_卷积神经_图像 cnn
07-14
卷积神经网络（CNN，Convolutional Neural Network）是一种深度学习模型，专为处理具有网格状结构数据，如图像设计。CNN在图像识别任务中表现出色，这是因为其独特的架构能够自动提取图像特征，从而实现对图像内容的...
神经网络卷积层以及池化层介绍
kking_edc的博客
09-29 6978
一、二维卷积层 池化层的提出是为了缓解卷积层对位置的过度敏感性。 一、二维最大池化层和平均池化层 同卷积层⼀样，池化层每次对输⼊数据的⼀个固定形状窗⼝（⼜称池化窗⼝）中的元素计算输出。不同于卷积层⾥计算输⼊和核的互相关性，池化层直接计算池化窗⼝内元素的最⼤值或者平均值。该运算也分别叫做最⼤池化或平均池化。在⼆维最⼤池化中，池化窗⼝从输⼊数组的最左上⽅开始，按从左往右、从上往下的顺序，依次在输⼊数组上滑动。当池化窗⼝滑动到某⼀位置时，窗⼝中的输⼊⼦数组的最⼤值即输出数组中相应位置的元素。 下图展示了池化窗口形
【数据】卷积层和池化层
gecko
03-04 628
卷积层用来提取特征，池化层可以减少参数数量。 卷积核与对应数据的矩阵进行相乘相加得到一个值，按照这种方式每隔一个像素就操作一次，我们就可以得出9个值。这九个值形成的矩阵被我们称作激活映射。这就是我们的卷积层工作原理： 但其实我们输入的图像一般为三维，即含有R、G、B三个通道。但其实经过一个卷积核之后，三维会变成一维。它在一整个屏幕滑动的时候，其实会把三个通道的值都累加起来，最终只是输出...
卷积神经网络_（1）卷积层和池化层学习
计算机图形学与深度学习
12-25 841
卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC (1)卷积层：用它来进行特征提取，如下：输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里注意：感受野的深度必须和输入图像的深度相同。通过一个filter与输入图像的卷积可以得到一个28*28*1的特征图，上图是用了两个f
Deep Learning（深度学习）学习笔记整理系列之（七）
热门推荐
zouxy09的专栏
04-10 66万+
Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2）本文仅供学
认识卷积神经网络(卷积层和池化层)
房东的jian的博客
10-19 301
CNN架构 卷积层 conv2d 非线性变换层 relu/sigmiod/tanh 池化层 pooling2d 全连接层 w*x+b 如果没有这些层，模型很难与复杂模式匹配，因为网络将有过多的信息填充， 也就是其他那些层作用就是突出重要信息，降低噪声。 卷积层 ksize 卷积核的大小 strides 卷积核移动的跨度 padding 边缘填充 池化层 import keras from keras import layers layers.Conv2D() layers.MaxPolling2D(
卷积神经网络组件之卷积&池化层
skullFang的博客
12-04 2089
前言其实之前使用的bp前馈神经网络就是一个全连接神经网络，现在就是要把它封装成一个层。在卷积神经网络中会使用到。卷积神经网路（CNN）卷积神经网络也是一种前馈神经网络，相对于传统的神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现（摘自维基百科）。 怎么去解释和理解这句话呢？ 之前实现的是一个全连接神经网络，也就是说每个神经元对应一个输入，当前层的输出就是下一
深度解析：卷积神经网络（CNN）的工作原理
"AI学习笔记——卷积神经网络...卷积神经网络（CNN）通过卷积、池化、激活函数以及全连接层等组件，有效地从输入数据中提取特征，特别适用于图像识别和计算机视觉任务。理解这些基本概念是深入研究和应用CNN的关键。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值