土堆学习笔记——P20非线性激活

Non-linear Activate非线性激活
两个非线性的函数
例如
ReLu

Sigmoid
代码中有一个inplace，其实就是新的值会不会覆盖输入数据，默认是False，我们一般也不变ReLU的代码

import torch
from torch import nn
from torch.nn import ReLU


input = torch.tensor([[1,-0.5],[-1,3]])

input = torch.reshape(input, (-1,1,2,2))
print(input.shape)

class Tudui(nn.Module):
    def __init__(self):
        super(Tudui, self).__init__()
        self.relu1= ReLU()

    def forward(self,input):
        output = self.relu1(input)
        return output
    
tudui = Tudui()
output = tudui(input)
print(output) #tensor([[[[1., 0.],
         							 #[0., 3.]]]])

也可以加图片用tensorboard看，具体就没抄

非线性变化的作用

给网络中引入一些非线性的特征，非线性越多才能训练出更多符合各个曲线或特征的模型