Deep Leaning 学习笔记之神经网络（1）—— 激活函数对比及导数

最新推荐文章于 2022-11-07 16:47:13 发布

Aperact

最新推荐文章于 2022-11-07 16:47:13 发布

阅读量868

点赞数 1

分类专栏： DeepLearning

本文链接：https://blog.csdn.net/m0_37108127/article/details/93656526

版权

本文对比了不同神经网络激活函数，包括sigmoid、tanh、ReLU和Leaky ReLU，强调了tanh在速度和效果上的优势，以及ReLU的普遍适用性。还介绍了激活函数使用的要点，如隐藏层通常使用非线性函数，最后一层可能使用线性或ReLU。同时，给出了各激活函数的导数公式。

摘要由CSDN通过智能技术生成

不同激活函数的对比

在这里插入图片描述

图1 为平常所说的sigmoid函数，但是不常用，一般只用于二元分类的一些神经网络。为什么呢，因为有一个在结构上基本上相同的函数：tanh函数，能够做到完美替代，且运算速率要比sigmoid函数快的多。
图2 为 tanh函数，拥有sigmoid移位并比例放大之后的效果，在运行速率及运行效果上都比sigmoid好，因此也有许多人使用
图3 为常说的　ReLU函数，即线性整流函数，是神经网络中最常用的一种激活函数。（也就是说你没有特别好的，特别符合你的激活函数的时候，可以尝试使用ReLU函数）
图4 为 Leaky ReLU函数，也有一部分人在用。但是最常用的还是ReLU函数。——可以将0.01看做一个参数，有的人说这样的参数让函数的表达效果更好，但是一般没人这么做。

在这里插入图片描述
要点：

几乎所有隐藏层都是使用非线性函数当做激活函数
唯一能使用线性函数当做激活函数的，是最后一层隐藏层，而这种情况也只是用于最终输出结果yhat为实数的时候，也就是说比如房价预测之类的，一般用线性函数或者是ReLU函数

关注

专栏目录