#详解# 激活函数中的 饱和、软饱和、硬饱和

假设h（x）是一个激活函数。

1. 饱和

1. 当我们的x趋近于正无穷，h（x）'趋近于0，那么我们称之为右饱和。
2. 当我们的n趋近于负无穷，h（x）'趋近于0，那么我们称之为左饱和。
3. 当一个函数既满足左饱和又满足右饱和的时候我们就称之为饱和，典型的函数有Sigmoid，Tanh函数。

2. 硬饱和

1. 对于任意的x，如果存在常数c，当x>c时，恒有h（x）’=0，则称其为右硬饱和。
2. 如果对于任意的x，如果存在常数c，当x<c时，恒有h（x）’=0,则称其为左硬饱和。
3. 既满足左硬饱和又满足右硬饱和的我们称这种函数为硬饱和。

3. 软饱和

1. 对于任意的x，如果存在常数c，当x>c时，恒有h（x）'趋近于0，则称其为右软饱和。
2. 如果对于任意的x，如果存在常数c，当x<c时，恒有h（x）'趋近于0,则称其为左软饱和。
3. 既满足左软饱和又满足右软饱和的我们称这种函数为软饱和。