课程笔记:池化层、线性层与激活函数

池化层(Pooling Layer):

对信号进行 “收集” 和 “总结”
“收集” 指:多变少; “总结” 指:最大值/平均值
池化操作也可以剔除冗余信息,减少后面的计算量在这里插入图片描述
用一个像素值代表4个像素值
池化层也是三种:一维池化,二维池化,三维池化

nn.MaxPool2d:
在这里插入图片描述

#池化窗口为2*2,步长也是2*2
#步长与池化窗口一样大小,为了不重叠
maxpool_layer = nn.MaxPool2d((2, 2), stride=(2, 2))

其中,return_indices用来记录池化像素最大的位置,为反池化时填入数据

nn.AvgPool2d:
在这里插入图片描述

avgpoollayer = nn.AvgPool2d((2, 2), stride=(2, 2))

最大池化会比平均池化亮(像素值大些)

反池化
在这里插入图片描述
注意在forward中要要传入indices

线性层(linear layer)

线性层又称为全连接层,其每一个神经元与上一个神经元相连实现对前一层的线性组合,线性变换
在这里插入图片描述

激活函数层(activation layer)

激活函数对特征继续非线性变换,赋予多层神经网络具有深度的意义。
nn.sigmoid
在这里插入图片描述
nn.tanh
在这里插入图片描述
nn.ReLU
在这里插入图片描述
在这里插入图片描述

  • 3
    点赞
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值