深度学习三 —— 手撕卷积层

已于 2023-05-05 11:34:06 修改
阅读量1k 收藏 7
点赞数
分类专栏： # 深度学习基础 文章标签： 深度学习 pytorch python
于 2022-05-25 16:01:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43662553/article/details/124967930
版权

文章目录

手撕卷积层(numpy)

卷积层的操作和定义

基础运算

卷积层的核心就是卷积运算，其实就是矩阵运算，大概过程如下：

在这里插入图片描述

( 4 , 4 ) (4, 4) (4,4)和 ( 3 , 3 ) (3, 3) (3,3)，最后输出结果为 ( 2 , 2 ) (2, 2) (2,2)

偏置 bias

但是在Pytorch的CNN中，除了基础卷积操作以外，还存在偏置，如下所示：

在这里插入图片描述

填充 padding

CNN中，在进行卷积处理之前，有时需要对周围元素填入数据，称之为填充（padding），如下所示

在这里插入图片描述

  • p a d d i n g = 1 padding = 1 padding=1: 图像大小经过卷积后不变

步幅 Stride

卷积核的移动步长称之为 步幅（Stride），上述例子均为 S t r i d e = 1 Stride=1 Stride=1，

关系计算公式

​ 假设输入大小为 ( H , W ) (H, W) (H,W)，卷积核大小为 ( F H , F W ) (FH, FW) (FH,FW)，输出大小为 ( O H , O W (OH, OW (OH,OW， p a d d i n g = P padding=P padding=P， S t r i d e = S Stride=S Stride=S。此时输出大小的计算公式为：

O H = H + 2 P − F H S + 1 OH=\frac{H+2P-FH}{S}+1 OH=SH+2P−FH​+1
O W = W + 2 P − F W S + 1 OW=\frac{W+2P-FW}{S}+1 OW=SW+2P−FW​+1

卷积层的实现

初始数据生成

x = np.random.rand(10, 1, 28, 28)
x.shape
# (10, 1, 28, 28)

生成四维数组，访问每一个数据，用x[0]或者x[1]即可；访问第一个数据第一个通道的二维数据可以用x[0,0]或者是x[0][0]

im2col & col2im

针对多层的卷积，全部使用for循环会变慢，numpy有这个特点，所以这里使用im2col（image to column）这个函数来实现：

对3维或者4维数据应用，应用im2col后，变成二维矩阵，以适应滤波器。将应用滤波器的区域（3维方块）横向展开为1列。im2col会在所有应用滤波器的地方进行这个展开处理。

在这里插入图片描述

步幅比较小的时候，展开后的个数会多于原方块的元素个数，会消耗更多的内存

在这里插入图片描述


    def im2col(self, input_data, conv_h, conv_w, stride=1, padding=0):
        """

        :param input_data: N x C x H x W
        :param conv_h: 卷积核的高
        :param conv_w: 卷积核的长
        :param stride: 步幅
        :param padding: 填充
        :return: col 2维数据
        """
        N, C, H, W = input_data.shape
        out_h = (H + 2 * padding - conv_h) // stride + 1
        out_w = (W + 2 * padding - conv_w) // stride + 1

        img = np.pad(input_data, [(0, 0), (0, 0), (padding, padding), (padding, padding)], "constant")
        col = np.zeros(N, C, conv_h, conv_w, out_h, out_w)
        for y in range(conv_h):
            y_max = y + stride * out_h
            for x in range(conv_w):
                x_max = x + stride * out_w
                col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]
        col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)
        return col

    def col2im(self, col, input_shape, conv_h, conv_w, stride=1, padding=0):
        """

        :param col:
        :param input_shape: 输入数据形式 例如：（10, 1, 28, 28）
        :param conv_h:
        :param conv_w:
        :param stride:
        :param padding:
        :return:
        """
        N, C, H, W = input_shape
        out_h = (H + 2 * padding - conv_h) // stride + 1
        out_w = (W + 2 * padding - conv_w) // stride + 1

        col = np.zeros(N, out_h, out_w, C, conv_h, conv_w).transpose(0, 3, 4, 5, 1, 2)

        img = np.zeros((N, C, H + 2 * padding + stride - 1, W + 2 * padding + stride - 1))
        for y in range(conv_h):
            y_max = y + stride * out_h
            for x in range(conv_w):
                x_max = x + stride * out_h
                img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

        return img[:, :, padding:H + padding, padding:W + padding]

基础卷积层实现


class Convolution:
    def __init__(self, W, b, stride=1, padding=0):
        """

        :param W: 权重
        :param b: 偏置
        :param stride: 步幅
        :param padding: 填充
        """
        self.W = W
        self.b = b
        self.stride = stride
        self.padding = padding


    def forward(self, x):
        FN, C, FH, FW = self.W.shape
        N, C, H, W = x.shape
        out_h = int(1 + (H + 2 * self.padding - FH) / self.stride)
        out_w = int(1 + (W + 2 * self.padding - FW) / self.stride)

        col = self.im2col(x, FH, FW, self.stride, self.padding)
        col_W = self.W.reshape(FN, -1).T  # conv2d 展开
        out = np.dot(col, col_W) + self.b
        out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)
        return out

reshape将各个滤波器的方块纵向展开为1列。这里通过reshape(FN,-1)将参数指定为-1，这是reshape的一个便利的功能。通过在reshape时指定为-1，reshape函数会自动计算-1维度上的元素个数，以使多维数组的元素个数前后一致

(10, 3, 5, 5)形状的数组的元素个数共有750个，指定reshape(10,-1)后，就 会转换成(10, 75)形状的数组。

Forward中最后将输出的大小转换成合适的形状，使用了numpy中的transpose函数。transpose会更改多维数组的轴的顺序。如图7-20 所示，通过指定从0开始的索引（编号）序列，就可以更改轴的顺序。
在这里插入图片描述

进行卷积层的反向传播时，要进行逆处理，比如说使用col2im函数

最终卷积层实现

import os, sys
import collections
import numpy as np


class Convolution:
    def __init__(self, W, b, stride=1, padding=0):
        """

        :param W: 权重
        :param b: 偏置
        :param stride: 步幅
        :param padding: 填充
        """
        self.W = W
        self.b = b
        self.stride = stride
        self.padding = padding

        # 中间数据，backward时会用到
        self.x = None
        self.col = None
        self.col_W = None

        # 权重和偏置参数的梯度
        self.dW = None
        self.db = None

    def forward(self, x):
        FN, C, FH, FW = self.W.shape
        N, C, H, W = x.shape
        out_h = int(1 + (H + 2 * self.padding - FH) / self.stride)
        out_w = int(1 + (W + 2 * self.padding - FW) / self.stride)

        col = self.im2col(x, FH, FW, self.stride, self.padding)
        col_W = self.W.reshape(FN, -1).T  # conv2d 展开
        out = np.dot(col, col_W) + self.b
        out = out.reshape(N, out_h, out_w, -1).transpose(0, 3, 1, 2)
        return out

    def backward(self, dout):
        FN, C, FH, FW = self.W.shape
        dout = dout.transpose(0, 2, 3, 1).reshape(-1, FN)

        self.db = np.sum(dout, axis=0)
        self.dW = np.dot(self.col.T, dout)
        self.dW = self.dW.transpose(1, 0).reshape(FN, C, FH, FW)

        dcol = np.dot(dout, self.col_W.T)
        dx = self.col2im(dcol, self.x.shape, FH, FW, self.stride, self.padding)
        return dx

    def im2col(self, input_data, conv_h, conv_w, stride=1, padding=0):
        """

        :param input_data: N x C x H x W
        :param conv_h: 卷积核的高
        :param conv_w: 卷积核的长
        :param stride: 步幅
        :param padding: 填充
        :return: col 2维数据
        """
        N, C, H, W = input_data.shape
        out_h = (H + 2 * padding - conv_h) // stride + 1
        out_w = (W + 2 * padding - conv_w) // stride + 1

        img = np.pad(input_data, [(0, 0), (0, 0), (padding, padding), (padding, padding)], "constant")
        col = np.zeros(N, C, conv_h, conv_w, out_h, out_w)
        for y in range(conv_h):
            y_max = y + stride * out_h
            for x in range(conv_w):
                x_max = x + stride * out_w
                col[:, :, y, x, :, :] = img[:, :, y:y_max:stride, x:x_max:stride]
        col = col.transpose(0, 4, 5, 1, 2, 3).reshape(N * out_h * out_w, -1)
        return col

    def col2im(self, col, input_shape, conv_h, conv_w, stride=1, padding=0):
        """

        :param col:
        :param input_shape: 输入数据形式 例如：（10, 1, 28, 28）
        :param conv_h:
        :param conv_w:
        :param stride:
        :param padding:
        :return:
        """
        N, C, H, W = input_shape
        out_h = (H + 2 * padding - conv_h) // stride + 1
        out_w = (W + 2 * padding - conv_w) // stride + 1

        col = np.zeros(N, out_h, out_w, C, conv_h, conv_w).transpose(0, 3, 4, 5, 1, 2)

        img = np.zeros((N, C, H + 2 * padding + stride - 1, W + 2 * padding + stride - 1))
        for y in range(conv_h):
            y_max = y + stride * out_h
            for x in range(conv_w):
                x_max = x + stride * out_h
                img[:, :, y:y_max:stride, x:x_max:stride] += col[:, :, y, x, :, :]

        return img[:, :, padding:H + padding, padding:W + padding]
L☆★
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
卷积神经网络实现手写数字识别（纯numpy实现）--python手撕卷积神经网络代码
05-19
纯手写卷积神经网络，未使用任何神经网络框架，使用numpy纯手写卷积神经网络，研究此代码可充分搞懂卷积神经网络原理，本人也是通过此代码亲自走过来的。代码简单。 适用人群：适用于有意愿彻底搞懂卷积神经网络底层原理的同学，适合做该领域研究的学者，较易上手。 阅读建议：对于想学习python的同学，可通过此小项目一边研习python代码语法，一边学习卷积神经网络算法，可以很快入门python,并掌握基础的卷积神经网络算法。
深度学习九 —— 手撕 一维离散序列 的线性卷积 和 互相关
weixin_43662553的博客
09-14 1272
深度学习九 —— 手撕 一维离散序列 的线性卷积 和 互相关
手撕CNN：综述论文详解卷积网络的数学本质
人工智能学家
03-03 56
近日南洋理工大学研究者发布了一篇描述卷积网络数学原理的论文，该论文从数学的角度阐述整个卷积网络的运算与传播过程。该论文对理解卷积网络的数学本质非常有帮助，有助于读者「徒手」（不用调包）实现卷积网络。论文地址：https://arxiv.org/pdf/1711.03278.pdf在该论文中，我们将从卷积架构、组成模块和传播过程等方面了解卷积网络的数学本质。读者可能对卷积网络具体的运算过程比较了解，...
手写transformer
m0_53292725的博客
09-29 872
【代码】手写transformer。
手撕系列：原生python实现卷积神经网络
qq_43409114的博客
04-25 5942
前言 之前就一直想不调用框架，实现一个CNN和RNN，实现这两种网络的主要难度就在于反向传播，对与CNN来说反向传播也要涉及到卷积，对于RNN来说反向传播会涉及到沿时间序列进行传播，也就是BPTT。在此过程中遇到不少困难，踩了不少坑，所以写此博文总结一下。 实现卷积神经网络 我们这里要实现的卷积神经网络是Lenet-5模型，其模型结构图如下 其网络结构用语言描述的话，就是: 输入层->卷积...
深度学习实践4：手撕卷积神经网络
white_0629的博客
09-05 154
本部分实现了一个简单的二维卷积神经网络（Conv2D），并进行了简单的实践，以下是代码流程。
手撕CNN卷积神经网络原理（一）
debby233的博客
08-16 2087
我们常见的比较简单的神经网络如下图所示对于该神经网络，有以下感念1.输入层（input layer），可以理解为数学中线性函数 y=kx+b 中的若干个x2.权重w（weights）：可以理解为数学中线性函数 y=kx+b 中的 k3.偏执量b（bias）：可以理解为数学中线性函数 y=kx+b 中的 b4.a：可以理解为数学中线性函数 y=kx+b 中的y，但这个y不是该节点输出的结果。...
深度学习之CNN入门基础——1.卷积及numpy实现
weixin_60368327的博客
06-02 657
本文转载自AIHIA盟友公众号：所向披靡的张大刀卷积神经网络（ConvNets或CNNs）作为人工智能的入门神经网络，已被广泛用于图像识别和分类等领域。除了为机器人和自动驾驶汽车提供视觉之外，ConvNets 在识别人脸、物体和交通标志方面也应用广泛。其中卷积操作作为cnn的灵魂，其出现加快了人工智能的发展。卷积一词一开始出现在数学中，为了表示一个函数对另外一个函数所有微量的响应的总叠加效应；其本质上是一种过滤器，在一维信号上完成对信号的过滤，在二维图像上完成为图像的一种过滤，过滤掉其不重要部分，提取主要特
手撕CNN神经网络（二）反向传播（back propagation）
debby233的博客
08-22 1236
反向传播简单来说就是通过求偏导数从而更新神经网络中权重w的过程首先先简单复习一下前向传播（forward propagation）篇幅有限，bias（b）在图中就没画出来，大家知道有这么个东西就好 ，顺便再偷个懒，输出层的激活函数忘记画上去了~在正式说反向传播之前，先说两个简单的概念。
手撕卷积神经网络CNN【附代码】
qq_35874169的博客
12-28 2314
手撕卷积神经网络CNN 博主接触CNN已有一段时间，写这篇博客一方面是为了加深自己的理解及记忆，另一方面是给初学者以启发，同时也便于大家一起交流学习。 1.CNN发展史 简单来说，CNN经过以下的发展史： 1.CNN的起源 1980年代末-1999年 ConvNet、LeNet-5 2.CNN停滞不前 2000年初 性能很难改...
手写深度学习——numpy实现卷积层
weixin_43508499的博客
04-04 2942
numpy实现卷积层
C语言手撕机器学习深度学习算法.zip
10-19
C语言手撕机器学习深度学习算法.zip
机器学习实战-手撕决策树
05-18
决策树模型在鸢尾花数据集上的实现，包括完整代码和可视化以及讲解，准确率很高，亲测可用！
手撕机器学习模型代码.zip
04-16
机器学习（ML)是计算机系统为了有效地执行特定任务，不使用明确的指令，而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型，称为“训练...
C和Python手撕机器学习算法1
08-03
2.1 读取csv文件数据 2.2 数据K折交叉验证 2.5 555.2 121.4 2.1 2.5.000 555.2.000 121.4.000 2.1.0
Java学习之 手撕String
12-22
Java学习之 手撕StringJava中非常非常重要的String类所属的包继承关系String对象的构建String类的特性String类的不可变性String类中常用的方法（20+个）equals()equalsIgnoreCase()hashCode()toString()compareTo()...
深度学习-线性回归+基础优化算法
Einstein·Jun
04-28 1073
1、线性回归是对n维输入的加权，外加偏差。2、使用平方损失来衡量预测值和真实值的差异。3、线性回归有显示解。4、线性回归可以看做是单层神经网络。我们将从零开始实现整个方法，包括数据流水线、模型、损失函数和小批量随机梯度下降优化器。"""生成y=Xw+b+噪声。"""print('features:', features[0], '\nlabel:', labels[0])里插入代码片正态分布函数：normal()
在图像处理领域，机器学习方法和深度学习方法的优势
Keep trying, keep going
05-02 390
在图像处理领域，机器学习方法和深度学习方法都被广泛应用，但两者有一些不同点和各自的优势。
软件杯 深度学习的动物识别
最新发布
Mr.D学长
05-03 1080
🔥 优质竞赛项目系列，今天要分享的是基于深度学习的动物识别算法研究与实现该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！🧿🧿。
手撕经典卷积神经网络
09-12
手撕经典卷积神经网络是指使用numpy纯手写的卷积神经网络代码，该代码可以帮助理解卷积神经网络的原理。它不使用任何神经网络框架，适合那些有意愿深入理解卷积神经网络底层的人群。这个手撕的代码相对简单，但是通过研究它，可以充分理解卷积神经网络的工作原理。 卷积神经网络（CNN）是一种常用于图像处理和识别的深度学习模型。它通过卷积层、池化层和全连接层等组成，实现了对图像特征的提取和分类。在卷积神经网络中，卷积层通过滤波器（卷积核）对输入图像进行卷积操作，以提取图像的局部特征。池化层则通过降采样的方式，减少特征图的尺寸，同时保留重要的特征信息。全连接层将特征图转化为一维向量，并通过神经网络的计算得出最终的分类结果。 通过手撕经典卷积神经网络的代码，我们可以更加深入地了解卷积神经网络的计算过程。该代码中的全连接层实际上就是指上述提到的全连接神经网络，它将最后一次卷积操作的输出作为输入，并通过神经网络的计算产生最终的输出结果。 总之，手撕经典卷积神经网络可以帮助我们更好地理解卷积神经网络的原理和计算过程。通过研究这个代码，我们可以深入了解卷积操作、池化操作和全连接操作在卷积神经网络中的应用，从而更好地应用和设计卷积神经网络模型。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

L☆★

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值