pytorch方法测试——激活函数(ReLU)

import torch
import torch.nn as nn

#inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出
m = nn.ReLU(inplace=True)
input = torch.randn(7)

print("输入处理前图片:")
print(input)

output = m(input)

print("ReLU输出:")
print(output)
print("输出的尺度:")
print(output.size())

print("输入处理后图片:")
print(input)

输出为:
输入处理前图片:
tensor([ 1.4940,  1.0278, -1.9883, -0.1871,  0.4612,  0.0297,  2.4300])
ReLU输出:
tensor([ 1.4940,  1.0278,  0.0000,  0.0000,  0.4612,  0.0297,  2.4300])
输出的尺度:
torch.Size([7])
输入处理后图片:
tensor([ 1.4940,  1.0278,  0.0000,  0.0000,  0.4612,  0.0297,  2.4300])
结论:
nn.ReLU(inplace=True)
inplace为True,将会改变输入的数据 ,否则不会改变原输入,只会产生新的输出

参考:https://blog.csdn.net/tmk_01/article/details/80679991

无论是使用默认值还是True值对最终结果不会有影响

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch神经网络中,常用的激活函数有Sigmoid函数、ReLU函数和Softmax函数。Sigmoid函数在机器学习的二分类模型中常被使用,例如逻辑回归。它模拟了生物神经元的特性,当神经元获得的输入信号累计超过一定的阈值后,神经元被激活并输出电信号,否则处于抑制状态。ReLU函数是一种非线性函数,它在输入大于零时返回输入值,而在输入小于等于零时返回零。ReLU函数的主要作用是增加神经网络的表达能力,使其能够提取出高语义的信息。Softmax函数常用于多分类问题,它将输入向量转换为概率分布,使得每个类别的概率之和为1。通过选择适当的激活函数,可以提高神经网络的性能和准确度。\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* [PyTorch教程(5)激活函数](https://blog.csdn.net/weixin_43229348/article/details/119353266)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [一起来学PyTorch——神经网络(激活函数层)](https://blog.csdn.net/TomorrowZoo/article/details/129453233)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值