Mxnet (11): 卷积神经网（CNN）

最新推荐文章于 2023-08-13 01:13:30 发布

泛泛之素

最新推荐文章于 2023-08-13 01:13:30 发布

阅读量936

点赞数

分类专栏： Mxnet 深度学习文章标签：卷积神经网络 mxnet 计算机视觉

本文链接：https://blog.csdn.net/tonydz0523/article/details/108804529

版权

本文详细介绍了卷积神经网络（CNN）的基础知识，包括互相关运算、卷积层、图像边缘检测、学习内核、特征图和感受野。此外，还探讨了填充、步幅、多通道卷积以及1X1卷积层的作用。通过实例解释了卷积层和池化层的工作原理，最后讨论了经典的LeNet模型及其在Fashion-MNIST数据集上的应用。

摘要由CSDN通过智能技术生成

1. 卷积神经网

卷积神经网络（CNN），专门为了处理图片而设计的神经网络。基于CNN的体系结构现在在计算机视觉领域无处不在，并且已经变得如此占主导地位，以至于今天几乎所有开发出商业应用程序或参加与图像识别，对象检测或语义分割有关的应用都会用到。
CNN除了准确率高，CNN往往在计算效率上也高，这不仅是因为它们所需的参数比完全连接的架构少，而且卷积易于在GPU内核之间并行化。因此从业人员在可能情况下都会使用CNN，甚至在处理一些一维结构的任务（音频，文本和事件序列分析），CNN的一些巧妙改编也使它们适用于图结构数据和推荐系统。

1.1 互相关运算

严格来说，卷积层做得是互相关运算。在这样的层中，输入张量和核张量通过互相关运算被组合以产生输出张量。

在这里插入图片描述

在二维互相关运算中，我们从位于输入张量的左上角的卷积窗口开始，然后将其从左到右以及从上到下在整个输入张量上滑动。当卷积窗口滑动到某个位置时，该窗口中包含的输入张量和内核张量将逐元素相乘，并且将所得张量求和，得出单个标量值。该结果给出了在相应位置的输出张量的值。

from d2l import mxnet as d2l
from mxnet import autograd, np, npx, init, gluon
from mxnet.gluon import nn
import plotly.graph_objs as go
npx.set_np()


def corr2d(X, K):
    
    h, w = K.shape
    m,n = X.shape
    Y = np.zeros((m-h+1, n-w+1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            Y[i,j] = (X[i:i+h, j:j+w]*K).sum()
    return Y

使用

X = np.array([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = np.array([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)

#array([[19., 25.],
#       [37., 43.]])

1.2 卷积层

卷积层使输入和内核进行互相关运算，并添加标量偏差以产生输出。
卷积层的两个参数是内核和标量偏差

基于上面第一的corr2d方法实现二维卷积层，在__init__构造函数中，声明weight和bias作为参数。

class Conv2D(nn.Block):
    def __init__(self, kernel_size, **kwargs):
        super().__init__(**kwargs)
        self.weight = self.params.get('weight', shape=kernel_size)
        self.bias = self.params.get('bias', shape=(1,))
        
    def forward(self, X):
        return corr2d(X, self.weight.data()) + self.bias.data()

1.3 图像边缘检测

一个小栗子用于理解卷积层作用。构建一个6×8 像素的图像：中间的四列为黑色（0），其余为白色（1）。

X = np.ones((6, 8))
X[:, 2:6] = 0
X

在这里插入图片描述

我们构造一个K高度为1且宽度为2 的内核。当我们对输入执行互相关运算时，如果水平相邻元素相同，则输出为0。否则，不为0。

K = np.array([[1.0, -1.0]])

通过互相关计算，从白色到黑色的边缘检测为1，从黑色到白色的边缘检测为-1。所有其他输出取值为0。因此可以检测边缘。

Y = corr2d(X, K)
Y

在这里插入图片描述

1.4 学习内核

使用物体边缘检测中输入数据X和数据Y来学习内核K。

构造一个卷积层，初始化随机数组
每一次迭代中，使用平方误差比较Y和卷积层数据
然后通过autogrid更新权重
为了简单，忽略了偏差use_bias=False

conv2d = nn.Conv2D(1, kernel_size=(1, 2), use_bias=False)
conv2d.initialize()

X = X.reshape(1, 1, 6, 8)
Y = Y.reshape(1, 1, 6, 7)

for i in range(10):
    with autograd.record():
        Y_hat = conv2d(X)
        l = (Y_hat-Y) ** 2
    l.backward()
    # 更新权重
    conv2d.weight.data()[:] -= 3e-2 * conv2d.weight.grad()
    print(f'batch {i + 1}, loss {float(l.sum()):.4f}')