机器学习之路二：激活函数，损失函数

激活函数

激活函数有什么用？

　　引入非线性因素。　

　　在我们面对线性可分的数据集的时候，简单的用线性分类器即可解决分类问题。但是现实生活中的数据往往不是线性可分的，面对这样的数据，一般有两个方法：引入非线性函数、线性变换。

线性变换

　　就是把当前特征空间通过一定的线性映射转换到另一个空间，让数据能够更好的被分类。

激活函数（非线性函数）

　　激活函数是如何引入非线性因素的呢？在神经网络中，为了避免单纯的线性组合，我们在每一层的输出后面都添加一个激活函数（sigmoid、tanh、ReLu等等），这样的函数长这样：

        常见的传统激活函数主要有两个：sigmoid和tanh。

sigmoid函数

tanh函数

激活函数的饱和问题

当一个激活函数h(x)满足：时，我们称之为右饱和。

当一个激活函数h(x)满足：时，我们称之为左饱和。

当一个激活函数，既满足左饱和又满足又饱和时，我们称之为饱和。

 

硬饱和与软饱和

对任意的x，如果存在常数c，

当x>c时恒有 h′(x)=0则称其为右硬饱和，

当x<c时恒 有h′(x)=0则称其为左硬饱和。

若既满足左硬饱和，又满足右硬饱和，则称这种激活函数为硬饱和