基于Pytorch的深度学习 —— 非线性激活函数

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_sigmoid = torch.sigmoid(x_tor).data.numpy() #sigmoid激活函数

plt.plot(x_np, y_sigmoid, c=‘blue’, label=‘sigmoid’) #坐标轴赋值及描述信息

plt.ylim((-0.2, 1.2)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

tanh

---

非线性函数tanh输出结果为-1到1之间；

表达式：

所以当tanh输出极值接近-1和1时，也面临梯度饱和的问题；但是其输出是以0为中心的，实际应用中会比Sigmoid更好；

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_tanh = torch.tanh(x_tor).data.numpy() #tanh激活函数

plt.plot(x_np, y_tanh, c=‘blue’, label=‘tanh’) #坐标轴赋值及描述信息

plt.ylim((-1.2, 1.2)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

ReLU

---

ReLU有助于优化器更快的找到正确的权重集合。可以使随机梯度下降收敛的更快；计算速度非常快；

但是当一个很大的梯度进行反向传播时，流经的神经元会变得无效；可以通过调整学习率来控制；

表达式：

)

ReLU把所有负值取作0，正值保持不变；

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_relu = torch.relu(x_tor).data.numpy() #ReLU激活函数

plt.plot(x_np, y_relu, c=‘blue’, label=‘relu’) #坐标轴赋值及描述信息

plt.ylim((0, 6)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

Leaky ReLU

---

Leaky ReLU尝试解决一个问题死角，不再将饱和度置为0，而是设为一个非常小的数值，如0.01；

Leaky ReLU是给所有负值赋予一个非零斜率；

这一激活函数对于某些用例提供了更优异的性能，但是他不是连续的。

SoftPlus

---

SoftPlus平滑版的ReLU；

表达式：

代码与绘制：

import torch #引用torch

import matplotlib.pyplot as plt #引用matplotlib

import torch.nn.functional as F #引用torch.nn.functional

import os #引用OS

os.environ[‘KMP_DUPLICATE_LIB_OK’] = ‘TRUE’

x_tor = torch.linspace(-5, 5, 200) #使用torch在区间[-5,5]上均匀的生成200个数据

x_np = x_tor.data.numpy() #将数据转换成np的数据类型

y_softplus = F.softplus(x_tor).data.numpy() #tanh激活函数

plt.plot(x_np, y_softplus, c=‘blue’, label=‘softplus’) #坐标轴赋值及描述信息

plt.ylim((0, 6)) #设置Y轴上下限

plt.legend(loc=‘best’) #给图像加图例

plt.show() #显示绘制的图像

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

2020年在匆匆忙忙慌慌乱乱中就这么度过了，我们迎来了新一年，互联网的发展如此之快，技术日新月异，更新迭代成为了这个时代的代名词，坚持下来的技术体系会越来越健壮，JVM作为如今是跳槽大厂必备的技能，如果你还没掌握，更别提之后更新的新技术了。

更多JVM面试整理：

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
必备的技能，如果你还没掌握，更别提之后更新的新技术了。

[外链图片转存中…(img-Wpl2ktrw-1713609156847)]

更多JVM面试整理：

[外链图片转存中…(img-HXV7qRF6-1713609156847)]

《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！