小土堆：Pytorch深度学习：神经网络-非线性激活

今天学习神经网络-非线性，下面是这段代码的注释说明：

import torch  # 导入PyTorch库import torchvision  # 导入torchvision库，它包含了处理图像等视觉任务的工具from torch import nn  # 导入PyTorch的神经网络模块from torch.nn import ReLU, Sigmoid  # 导入ReLU和Sigmoid激活函数from torch.utils.data import DataLoader  # 导入数据加载器from torch.utils.tensorboard import SummaryWriter  # 导入TensorBoard的日志写入器
# 创建一个2x2的张量input = torch.tensor([[1, -0.5],                      [-1, 3]])
# 将张量重塑为形状为(1, 1, 2, 2)的张量，这是常用于卷积神经网络输入的形状input = torch.reshape(input, (-1, 1, 2, 2))print(input.shape)  # 打印张量的形状
# 下载CIFAR10数据集，如果数据集不存在的话，并将数据集的每个元素转换为张量dataset = torchvision.datasets.CIFAR10("../data", train=False, download=True,                                       transform=torchvision.transforms.ToTensor())
# 创建一个数据加载器，用于在训练时按照批次加载数据dataloader = DataLoader(dataset, batch_size=64)
# 定义一个名为Yang的神经网络模型，它只包含一个Sigmoid激活函数class Yang(nn.Module):    def __init__(self):        super(Yang, self).__init__()        self.relu1 = ReLU()        self.sigmoid1 = Sigmoid()
    def forward(self, input):        output = self.sigmoid1(input)  # 在输入数据上应用Sigmoid激活函数        return output
yang = Yang()  # 创建一个Yang模型的实例
# 创建一个SummaryWriter实例，用于将数据写入TensorBoardwriter = SummaryWriter("logs")
step = 0  # 初始化步数计数器# 遍历数据加载器中的每一个批次for data in dataloader:    imgs, targets = data  # 将每个批次的数据解包为图像和目标    writer.add_images("input", imgs, global_step=step)  # 将输入图像写入到TensorBoard    output = yang(imgs)  # 使用Yang模型对输入图像进行处理    writer.add_images("output", output, step)  # 将输出图像写入到TensorBoard    step += 1  # 步数加1
writer.close()  # 关闭SummaryWriter

非线性变换的目的：引入非线性的特征，非线性特征越多的话，才能训练出符合各种曲线或特征的模型， 否则泛化能力不好。