pytotch（八）：非线性激活

Relu：

线形层： 

神经网络中的线性层（Linear Layer），也被称为全连接层（Fully Connected Layer）或密集层（Dense Layer），是神经网络中最基本的构建模块之一。其主要作用可以归纳如下：

一、线性变换与数据映射

• 线性变换：线性层通过对输入数据进行线性组合（即矩阵乘法和加上偏置），实现数据的线性变换。这种变换可以改变数据的维度，将输入数据映射到一个新的空间，便于后续层进一步处理。
• 数据映射：通过调整输入和输出的维度，线性层能够在不同的特征空间之间进行变换，使得模型能够更好地捕捉和表示数据中的复杂模式。

二、特征提取与表示

• 特征提取：线性层通过学习合适的权重和偏置，可以自动地学习输入数据中的特征。这些特征对于后续的任务（如分类、回归等）至关重要。
• 特征表示：线性层将输入数据映射到输出空间的过程，实际上也是对数据特征的一种表示。这种表示方式有助于神经网络更好地理解输入数据，并据此进行预测或分类。

三、构建复杂模型

• 堆叠使用：在深度学习中，线性层通常与非线性激活函数（如ReLU、Sigmoid等）交替使用，构成神经网络的基本组成部分。通过堆叠多个线性层和非线性激活函数，神经网络能够学习到更为复杂的非线性关系。
• 模型构建：线性层在神经网络中的位置灵活，既可以作为隐藏层的一部分，也可以作为输出层，用于输出模型的预测结果。在回归任务中，网络的最后一层通常是线性层，直接输出数值结果；在分类任务中，线性层则可能用于学习特征的表示，随后通过softmax等函数进行多分类。

四、性能优化

• 维度调整：通过调整线性层的输入和输出维度，可以优化神经网络的性能。例如，在卷积神经网络（CNN）中，全连接层（即线性层）通常用于将卷积层提取的特征图展平成一维向量，并进一步进行特征提取和分类。
• 正则化与归一化：虽然线性层本身不直接涉及正则化或归一化操作，但这些技术通常与线性层结合使用，以提高模型的泛化能力和收敛速度。正则化通过向模型的损失函数中添加惩罚项来防止过拟合；归一化则通过缩放特征值的范围来加速模型的收敛过程。

# -*- coding: utf-8 -*-  
# File created on 2024/7/19 
# 作者：酷尔
# 公众号：酷尔计算机

import torchvision
import torch
from torch.utils.data import DataLoader
from torch import nn
dataset=torchvision.datasets.CIFAR10('./dataset',train=False,transform=torchvision.transforms.ToTensor(),download=True)
dataloader=DataLoader(dataset,batch_size=64)

class Wang(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear1=nn.Linear(196608,10)

    def forward(self,input):
        output=self.linear1(input)
        return output

wang=Wang()
for data in dataloader:
    imgs,targgets=data
    print(imgs.shape)
    # output=torch.reshape(imgs,(1,1,1,-1))
    output=torch.flatten(imgs)
    print(output.shape)
    output=wang(output)
    print(output.shape)