pytorch快速入门（八）神经网络-非线性激活Non-linear Activations

最新推荐文章于 2024-10-12 11:26:41 发布

半甜田田

最新推荐文章于 2024-10-12 11:26:41 发布

阅读量584

点赞数 1

分类专栏：深度学习可视化 pytorch 文章标签： pytorch 神经网络深度学习

本文链接：https://blog.csdn.net/rensweet/article/details/122280733

版权

这篇博客介绍了PyTorch中两种常用的非线性激活函数——ReLU和Sigmoid。首先讲解了ReLU的背景和代码实现，并展示了运行结果。接着，对Sigmoid进行了介绍，包括其相关知识、代码实现、运行结果，以及如何使用TensorBoard进行可视化。通过TensorBoard的教程，读者可以更直观地理解这些激活函数的效果。

摘要由CSDN通过智能技术生成

这里写目录标题

1、ReLU()
2、Sigmoid()

环境配置请看这里

1、ReLU()

1、ReLU相关简介

以ReLU为例ReLU官方文档
在这里插入图片描述

2、代码

import torch
from torch import nn
from torch.nn import ReLU

input = torch.tensor([[1,-0.5],
                      [-1,3]], dtype=torch.float32) #输入为二维
#改变尺寸以满足要求 shape：input（N,C,Hi,Wi）
input = torch.reshape(input,(-1, 1, 2, 2))

#构建神经网络模型
class Tian(nn.Module):