神经网络-非线性激活ReLU

（联邦学习笔记，资料来源于b站小土堆）

ReLU 函数

线性整流函数（Rectified Linear Unit, ReLU），又称修正线性单元，是一种人工神经网络中常用的激活函数（activation function），通常指代以斜坡函数及其变种为代表的非线性函数。

 激活函数有两个参数（input，inplace)

import torch
import torchvision
from torch import nn
from torch.nn import ReLU, Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input = torch.tensor([[1,-0.5],
                   [-1,3]])

#转变成1维，2x2的格式
inputt = torch.reshape(input,(-1,1,2,2))
print(input.shape)

dataset = torchvision.datasets.CIFAR10("./data",train=False,transform=torchvision.transforms.ToTensor(),download=True)

dataloader = DataLoader(dataset,batch_size=64)

class Mymodule(nn.Module):
    def __init__(self):
        super(Mymodule, self).__init__()
        self.relu1 = ReLU()
        self.sigmoid1 = Sigmoid()

    def forward(self,input):
        output = self.sigmoid1(input)
        return output

mymodule = Mymodule()

writer = SummaryWriter("../logs_relu")
step = 0

for data in dataloader:
    imgs,targets = data
    writer.add_images("input",imgs,global_step=step)
    output = mymodule(imgs)
    writer.add_images("output",output,global_step=step)
    step = step + 1

writer.close()

 运行后在terminal下执行：tensorboard --logdir=logs_relu --port=6009

（执行有误，参考tensorboard使用方法）

点击链接，结果如下：