基于Pytorch的深度学习 —— 非线性激活函数

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_sigmoid = torch.sigmoid(x_tor).data.numpy() #sigmoid激活函数

plt.plot(x_np, y_sigmoid, c=‘blue’, label=‘sigmoid’) #坐标轴赋值及描述信息

plt.ylim((-0.2, 1.2)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

tanh

---

非线性函数tanh输出结果为-1到1之间；

表达式：

所以当tanh输出极值接近-1和1时，也面临梯度饱和的问题；但是其输出是以0为中心的，实际应用中会比Sigmoid更好；

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_tanh = torch.tanh(x_tor).data.numpy() #tanh激活函数

plt.plot(x_np, y_tanh, c=‘blue’, label=‘tanh’) #坐标轴赋值及描述信息

plt.ylim((-1.2, 1.2)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

ReLU

---

ReLU有助于优化器更快的找到正确的权重集合。可以使随机梯度下降收敛的更快；计算速度非常快；

但是当一个很大的梯度进行反向传播时，流经的神经元会变得无效；可以通过调整学习率来控制；

表达式：

)

ReLU把所有负值取作0，正值保持不变；

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_relu = torch.relu(x_tor).data.numpy() #ReLU激活函数

plt.plot(x_np, y_relu, c=‘blue’, label=‘relu’) #坐标轴赋值及描述信息

plt.ylim((0, 6)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

Leaky ReLU

---

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注Java）

总结

至此，文章终于到了尾声。总结一下，我们谈论了简历制作过程中需要注意的以下三个部分，并分别给出了一些建议：

1. 技术能力：先写岗位所需能力，再写加分能力，不要写无关能力；
2. 项目经历：只写明星项目，描述遵循 STAR 法则；
3. 简历印象：简历遵循三大原则：清晰，简短，必要，要有的放矢，不要海投；

以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频

则：清晰，简短，必要，要有的放矢，不要海投；

以及最后为大家准备的福利时间：简历模板+Java面试题+热门技术系列教程视频

[外链图片转存中…(img-o7AgM1be-1710416287422)]

[外链图片转存中…(img-pzoX0xUW-1710416287422)]

[外链图片转存中…(img-FOeDe8fK-1710416287422)]

本文已被CODING开源项目：【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录