【一起深度吧！】24/05/03

最大池化和平均层化：

池化的作用:
1、可以降维，减少要 训练的参数。
2、提取特征，也就是保留主要的特征，过滤掉不重要的信息，可以更好地学习。
3、平移不变性，即对于输入的数据所发生的小变化不敏感。
4、可以减轻过拟合，因为1，降低了模型的复杂程度，提高了泛化能力。

最大池化：

取出池化窗口中值最大的特征。

计算如下(默认步幅是1)：
Max(0,1,3,4) = 4
向右移动：Max(1,2,4,5) = 5
到头向下移动：Max(3,4,6,7) = 7
向右移动： Max(4,5,7,8) = 8
组成新张量tensor。

平均池化：

取出池化窗口中的平均值，作为特征。

从零实现池化层：

import torch
from torch import nn
from d2l import torch as d2l

def pool2d(X,pool_size,mode='max'):
    #池化的高度，宽度
    p_h,p_w = pool_size
    #输出的大小
    Y = torch.zeros((X.shape[0] - p_h + 1,X.shape[1] - p_w +1 ))
    #遍历横坐标
    for i in range(Y.shape[0]):
        #遍历纵坐标
        for j in range(Y.shape[1]):
            #最大池化
            if mode == 'max':
                # explain: X[i:i+p_h,j:j+p_w] 表示：
                # 取出x张量中的 第 i 行到第 i+p_h 行
                Y[i,j] = X[i : i + p_h,j : j + p_w ].max()
            #平均池化
            elif mode == 'avg':
                Y[i, j] = X[i: i + p_h, j: j + p_w].mean()
    return Y

X = torch.tensor(
    [
        [0.0, 1.0, 2.0],
        [3.0, 4.0, 5.0],
        [6.0, 7.0, 8.0]
    ]
)
print(pool2d(X, [2, 2], 'max'))
print(pool2d(X, [2, 2], 'avg'))

输出如下：
tensor([[4., 5.],
[7., 8.]])
tensor([[2., 3.],
[5., 6.]])

#定义新X
X = torch.arange(16,dtype=torch.float32).reshape((1,1,4,4))
print(X)

输出如下：
tensor([[[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.],
[12., 13., 14., 15.]]]])

在默认情况下：深度学习框架的步幅与池化窗口的大小是相同的，就是说若池化窗口为22 的话，那么步幅就是（22）

pool2d = nn.MaxPool2d(3)  #这里的例子是（3*3），故他跳不了，只能取到10了
print(pool2d(X))

输出如下：
tensor([[[[10.]]]])

#手动指定步幅，

pool2d = nn.MaxPool2d(3,padding=1,stride=2)
print(pool2d(X))

输出如下：
tensor([[[[ 5., 7.],
[13., 15.]]]])

可以设定一个任意大小的池化窗口，并分别设定填充和步幅的高度和宽度。

pool2d = nn.MaxPool2d((2,3),padding=(1,1),stride=(2,3))
print(pool2d(X))

输出如下：
tensor([[[[ 1., 3.],
[ 9., 11.],
[13., 15.]]]])

#池化层在每个输入通道上单独运算。
#在这里要注意一个细节：
torch.stack 是升维拼接。而 torch.cat 是同维拼接。

X1 = torch.stack((X,X+1),1)
print(X1.shape)
X2 = torch.cat((X,X+1),1)
print(X2.shape)
pool2d = nn.MaxPool2d(3,padding=1,stride=2)
print(pool2d(X2))

输出如下：
torch.Size([1, 2, 1, 4, 4])
torch.Size([1, 2, 4, 4])
tensor([[[[ 5., 7.],
[13., 15.]],

     [[ 6.,  8.],
      [14., 16.]]]])