课程笔记：池化层、线性层与激活函数

池化层（Pooling Layer）:

对信号进行 “收集” 和 “总结”
“收集” 指：多变少； “总结” 指：最大值/平均值
池化操作也可以剔除冗余信息，减少后面的计算量
用一个像素值代表4个像素值
池化层也是三种：一维池化，二维池化，三维池化

nn.MaxPool2d:

#池化窗口为2*2，步长也是2*2
#步长与池化窗口一样大小，为了不重叠
maxpool_layer = nn.MaxPool2d((2, 2), stride=(2, 2))

其中，return_indices用来记录池化像素最大的位置，为反池化时填入数据

nn.AvgPool2d:

avgpoollayer = nn.AvgPool2d((2, 2), stride=(2, 2))

最大池化会比平均池化亮（像素值大些）

反池化：

注意在forward中要要传入indices

线性层(linear layer)

线性层又称为全连接层，其每一个神经元与上一个神经元相连实现对前一层的线性组合，线性变换

激活函数层(activation layer)

激活函数对特征继续非线性变换，赋予多层神经网络具有深度的意义。
nn.sigmoid

nn.tanh

nn.ReLU