深度学习——池化层笔记+代码

1.对于卷积层来说，卷积对位置比降敏感

①检测垂直边缘

使用K=[-1,1] 的卷积核进行卷积操作，实现垂直边缘信息的检测

如果因为抖动曝光啥的同一个物体，1像素可能往右移位了。K的卷积核就得不到相应位置的边缘信息。

 ②需要一定程度的平移不变性，即使1像素边缘位置移动了，卷积后池化就可以检测到未移动的边缘。池化层就可以

2.二维最大池化

①返回滑动窗口的最大值

②垂直边缘检测

经过卷积层k=[1,-1]

说明第二列是从黑到白的边缘。

【个人猜】如果输入图像的时候不小心抖动。1像素偏移

 经过卷积层k=[1,-1]

输出边缘信息变了。

但经过2*2最大池化层:

能检测到边缘信息

 3.填充，步幅，多个通道

①池化层和卷积层类似都有填充和步幅

②没有可学习的参数

③输出通道数=输入通道数（卷积层的输出通道数是1）

4.池化层有哪些?

①最大池化层：每个窗口中最强的模式信号

②平均池化层：每个窗口中的平均值

【总结】

①池化层返回窗口最大或平均

②缓解卷积层对位置的敏感性

③有窗口大小，填充，步幅超参数。

④输出通道=输入通道。输入通道有几层，输出几层。

⑤默认值步幅跟池化窗口的大小相同

---

对应的代码：

1.池化层 窗口最大 或 平均

import torch
from torch import nn
from d2l import torch as d2l


def pool2d(X, pool_size, mode='max'):
    p_h, p_w = pool_size
    Y = torch.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w + 1))
    for i in range(Y.shape[0]):
        for j in range(Y.shape[1]):
            if mode == 'max':
                Y[i, j] = X[i:i + p_h, j:j + p_w].max()
            elif mode == 'avg':
                Y[i, j] = X[i:i + p_h, j:j + p_w].mean()
    return Y

 2.验证 平均

X = torch.tensor([[0, 1, 2], [3, 4, 5], [6, 7, 8]], dtype=torch.float32)
print(pool2d(X, (2, 2), 'avg'))

 输出：

tensor([[2., 3.],
        [5., 6.]])

 3.填充和步幅

X = torch.arange(16, dtype=torch.float32).reshape((1, 1, 4, 4))
print(X)
'''
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]]]])
'''

 4.步幅跟池化窗口相同

pool2d = nn.MaxPool2d(3)
print(pool2d(X))
'''
tensor([[[[10.]]]])
'''

5. 填充和步幅手动设定

pool2d = nn.MaxPool2d((2, 3), padding=(1, 1), stride=(2, 3))
print(pool2d(X))
'''
tensor([[[[ 1.,  3.],
          [ 9., 11.],
          [13., 15.]]]])
'''

6.池化层在每个通道上单独运算

X = torch.cat((X, X + 1), 1)
print(X)
'''
tensor([[[[ 0.,  1.,  2.,  3.],
          [ 4.,  5.,  6.,  7.],
          [ 8.,  9., 10., 11.],
          [12., 13., 14., 15.]],

         [[ 1.,  2.,  3.,  4.],
          [ 5.,  6.,  7.,  8.],
          [ 9., 10., 11., 12.],
          [13., 14., 15., 16.]]]])
'''
pool2d = nn.MaxPool2d(3, padding=1, stride=2)
print(pool2d(X))
'''
tensor([[[[ 5.,  7.],
          [13., 15.]],

         [[ 6.,  8.],
          [14., 16.]]]])
'''