深度学习中的sigmod函数、tanh函数、ReLU函数

1. sigmod核函数
sigmod函数的数学公式为:

函数取值范围(0,1),函数图像下图所示:

二. tanh(x) 函数
tanh(x)函数的数学公式为：

函数取值范围(-1,1),函数图像下图所示：

三. ReLU（校正线性单元：Rectified Linear Unit）激活函数

ReLU函数公式为 :

图像为：

四、高斯核函数（RBF）
又称径向基函数，公式如下所示：

高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。

参考文献

[1] https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 函数说明
[2] http://meta.math.stackexchange.com/questions/5020/mathjax-basic-tutorial-and-quick-reference 公式书写
[3] https://en.wikipedia.org/wiki/Modern_Greek 阿拉伯字母
[4] http://baike.baidu.com/linkurl=7PMqoeME8neZbhn6hsV0YPZWz1Acv2kr41WpFfTJmaqqvmjX43SkvYcrzuwN08OQHNGEFRzHiBj164Lp9JWwma tanh(x)说明