pytorch自学笔记——归一化层

import torch
from torch import nn
from d2l import torch as d2l


net = nn.Sequential(nn.Conv2d(1, 6, kernel_size=5), nn.BatchNorm2d(6),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Conv2d(6, 16, kernel_size=5), nn.BatchNorm2d(16),
                    nn.Sigmoid(), nn.MaxPool2d(kernel_size=2, stride=2),
                    nn.Flatten(), nn.Linear(256, 120), nn.BatchNorm1d(120),
                    nn.Sigmoid(), nn.Linear(120, 84), nn.BatchNorm1d(84),
                    nn.Sigmoid(), nn.Linear(84, 10))


d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())

1、归一化层解决的问题：

a、internal covarivate shift问题——在训练过程中，数据分布会发生变化，对下一层网络的学习带来困难。

b、避免梯度消失与梯度爆炸

2、作用地点

a、卷积层后

example：

上面的

nn.BatchNorm2d(6)

其中6代表的是通道数

b、全连接层后

如上面的：

nn.Linear(256, 120), nn.BatchNorm1d(120),
                    nn.Sigmoid(), nn.Linear(120, 84), nn.BatchNorm1d(84),
                    nn.Sigmoid(), nn.Linear(84, 10))

 nn.BatchNorm1d(120)中120代表的是特征的数量