对全连接层使用平移不变性和局部性得到卷积层
卷积层:
卷积层将输入和核矩阵进行交叉相关,加上偏移后得到输出
核矩阵和偏移是可学习的参数
核矩阵的大小是超参数
图像卷积
互相关运算
In[2]: import torch
...: from torch import nn
...: from d2l import torch as d2l
def corr2d(X, K): #@save
"""计算二维互相关运算。输入是X,核是K"""
h, w = K.shape #K的大小,行数和列数
"""输出的高和宽"""
Y = torch.zeros((X.shape[0] - h + 1, X.shape[1] - w + 1))
"""遍历输出Y"""
for i in range(Y.shape[0]):
for j in range(Y.shape[1]):
Y[i, j] = (X[i:i + h, j:j + w] * K).sum()
return Y
X = torch.tensor([[0.0, 1.0, 2.0], [3.0, 4.0, 5.0], [6.0, 7.0, 8.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
corr2d(X, K)
Out[4]:
tensor([[19., 25.],
[37., 43.]])
卷积层+图像中目标的边缘检测
class Conv2D(nn.Module):
def __init__(self, kernel_size):#超参数
super().__init__()
self.weight = nn.Parameter(torch.rand(kernel_size))
self.bias = nn.Parameter(torch.zeros(1))
def forward(self, x):#前向运算
return corr2d(x, self.weight) + self.bias
"""构造矩阵"""
Out[6]: '构造矩阵'
X = torch.ones((6, 8))
X[:, 2:6] = 0
X
Out[7]:
tensor([[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.],
[1., 1., 0., 0., 0., 0., 1., 1.]])
"""一个高度为 1 、宽度为 2 的卷积核 K"""
Out[8]: '一个高度为 1 、宽度为 2 的卷积核 K'
K = torch.tensor([[1.0, -1.0]])
Y = corr2d(X, K)
Y
Out[10]:
tensor([[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.],
[ 0., 1., 0., 0., 0., -1., 0.]])
"""将输入的二维图像转置,再进行如上的互相关运算"""
Out[11]: '将输入的二维图像转置,再进行如上的互相关运算'
"""无法检测"""
Out[12]: '无法检测'
corr2d(X.t(), K)
Out[13]:
tensor([[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0.]])
学习卷积核
# 构造一个二维卷积层,它具有1个输出通道和形状为(1,2)的卷积核
conv2d = nn.Conv2d(1,1, kernel_size=(1, 2), bias=False)
# 这个二维卷积层使用四维输入和输出格式(批量大小、通道、高度、宽度),
# 其中批量大小和通道数都为1
X = X.reshape((1, 1, 6, 8))
Y = Y.reshape((1, 1, 6, 7))
for i in range(10):
Y_hat = conv2d(X)
l = (Y_hat - Y) ** 2 #loss
conv2d.zero_grad() #梯度设为0
l.sum().backward()#求和之后算反向传播
# 迭代卷积核
"""3e-2是学习率"""
conv2d.weight.data[:] -= 3e-2 * conv2d.weight.grad #裸写梯度下降
if (i + 1) % 2 == 0: #每两个batch后打印一下loss
print(f'batch {i+1}, loss {l.sum():.3f}')
batch 2, loss 10.026
batch 4, loss 2.259
batch 6, loss 0.616
batch 8, loss 0.200
batch 10, loss 0.073
conv2d.weight.data.reshape((1, 2))
Out[15]: tensor([[ 0.9589, -1.0124]])