PyTorch⑨---卷积神经网络_正则化层、线性层

正则化层

BN层

1. 加快网络的训练和收敛的速度；
2. 控制梯度爆炸防止梯度消失；
3. 防止过拟合。

Recurrent Layers

Transformer Layers

线性层 Linear Layers

在卷积神经网络里最后几层，会把卷积层摊开平放到全连接层里计算，然后进入sofmax进行分类。
线性层即为全连接层，通常在全连接层后加非线性激活，再加dropout层。

例如在vgg16里：
7×7×512----torch.flatten(imgs)—>1×1×4096—Linear(4096,1000)—>1×1×1000
注意：

1. flatten和fc不是一回事，flatten只是将输入“压平”，即把多维的输入一维化，常用在从卷积层到全连接层的过渡。Flatten不影响batch的大小。
2. 全连接层Linear()，是神经网络的分类器，使用卷积核实现。

import torch.nn
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoader

dataset=torchvision.datasets.CIFAR10("dataset_CIFAR10",
                                     train=False,
                                     transform=torchvision.transforms.ToTensor())

dataloader=DataLoader(dataset,batch_size=64,drop_last=True)

for data in dataloader:
    imgs,targets=data
    print(imgs.shape)
    output=torch.reshape(imgs,(1,1,1,-1)) #展开，看一下展开后的数据 -1在哪里哪里就自动计算
    print(output.shape)

class Demo(nn.Module):

    def __init__(self) -> None:
        super().__init__()
        self.linear1=Linear(196608,10) #把全部展开的196608变成10，最后分类的结果是10类
    def forward(self,input):
        output=self.linear1(input)
        return output

demo=Demo()
for data in dataloader:
    imgs,targets=data
    print(imgs.shape)
    output=torch.flatten(imgs)#也可以展平看，和上面计算的结果一样 直接展平，在线性输出10
    print(output.shape)
    output=demo(output)
    print(output.shape)

结果：

Dropout Layers

Sparse Layers

自然语言处理中使用：

Distance Functions

Loss Functions

损失函数