NLP复习（一）

最新推荐文章于 2024-09-26 09:18:34 发布

地大停车第二帅

最新推荐文章于 2024-09-26 09:18:34 发布

阅读量248

点赞数 2

分类专栏： NLP学习文章标签：自然语言处理人工智能

本文链接：https://blog.csdn.net/qq_20158613/article/details/136548021

版权

NLP学习专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文探讨了激活函数在深度学习中的关键作用，介绍了sigmoid和tanh函数的优缺点，重点聚焦ReLU及其变体LeakyReLU，强调了它们在处理非线性和梯度问题上的优势与挑战。

摘要由CSDN通过智能技术生成

激活函数：

激活函数的作用是什么：

引入非线性。如果没有激活函数，模型的输出空间是线性的。

常见的激活函数有哪些：
sigmoid激活函数：
在这里插入图片描述
sigmoid函数缺点:

当输入比较大的时候，梯度很快接近0。在网络结构较深，传过来的梯度较大的时候容易出现梯度消失。

进行指数运算，速度较慢。收敛也比较慢。

tanh函数，值域在[-1,1]之间：

 	均值为0，在特征相差较大的时候交过较好。实际应用强于sigmoid。

Relu激活函数:|

优点：
Relu得到的SGD收敛比sigmoid快。
缺点：
容易出现神经元坏死。当一个非常大的梯度流过神经元以后，容易导致失活。
所以训练时候需要使用小一点的学习率。
解决:
leakRelu激活函数。
对比sigmoid类函数主要变化是：
1）单侧抑制

2）相对宽阔的兴奋边界

3）稀疏激活性。