神经网络非线性激活 P20 —— 小土堆笔记

最新推荐文章于 2024-08-06 18:42:53 发布

sixueh

最新推荐文章于 2024-08-06 18:42:53 发布

阅读量126

点赞数 9

文章标签：神经网络笔记人工智能

本文链接：https://blog.csdn.net/sixueh/article/details/138117560

版权

本文介绍了ReLU（RectifiedLinearUnit）和Sigmoid函数在神经网络中的常见使用，包括ReLU的参数理解（如inplace选项）、如何在PyTorch中实现ReLU模块，以及如何使用Sigmoid处理CIFAR10图像数据，并通过TensorBoard展示结果。

摘要由CSDN通过智能技术生成

1.常见的功能

nn.ReLU：小于0，归零

nn.Sigmoid

二分类输出层用sigmod，隐藏层用ReLu（~~弹幕上说的~~）

2.Relu的参数

（1）inplace 原地替换

3.Relu的构建

import torch
from torch import nn

data = torch.tensor([[1, 2, 3],
                     [2, 4, -10],
                     [-1, 2, -9]])

print(data)


class Relu(nn.Module):
    def __init__(self):
        super().__init__()
        self.relu1 = nn.ReLU(inplace=False)

    def forward(self, input):
        output = self.relu1(input)
        return output


Relu1 = Relu()
output = Relu1(data)
print(output)

输出结果

4.sigmoid处理图像

import torchvision.datasets
from torch import nn
from torch.nn import Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

# 数据集
dataset = torchvision.datasets.CIFAR10('../dataset', train=False, transform=torchvision.transforms.ToTensor(),
                                       download=False)
dataloader = DataLoader(dataset, batch_size=10, shuffle=True)


class Sigmoid1(nn.Module):
    def __init__(self):
        super().__init__()
        self.sigmoid = Sigmoid()

    def forward(self, input):
        output = self.sigmoid(input)
        return output


writer = SummaryWriter('../Sigmoid')
Sigmoid_image = Sigmoid1()
step = 0

for data in dataloader:
    imgs, targets = data
    writer.add_images('Input image', imgs, step)
    output = Sigmoid_image(imgs)
    writer.add_images('output image', output, step)
    step = step + 1

writer.close()