- 博客(2)
- 资源 (4)
- 收藏
- 关注
原创 math: sigmoid 函数
公式y=11+e−a⋅xy = \frac{1}{1 + e^{-a \cdot x}} y=1+e−a⋅x1曲线特性物理特性1. 优点:Sigmoid函数的输出映射在(0,1)之间,单调连续,输出范围有限,优化稳定,可以用作输出层。求导容易。2. 缺点:由于其软饱和性,容易产生梯度消失,导致训练出现问题。其输出并不是以0为中心的。3. 应用:logistic...
2019-07-13 16:54:51 1165
原创 math: 交叉熵(Cross-Entropy)
0. 交叉熵(Cross-Entropy)假设现在有一个样本集中两个概率分布p,q,其中p为真实分布,q为非真实分布。假如,按照真实分布p来衡量识别一个样本所需要的编码长度的期望为:H(p)=∑ip(i)⋅log(1p(i))H(p)=\sum_{i}{p(i) \cdot \log(\frac{1}{p(i)})}H(p)=i∑p(i)⋅log(p(i)1)但是,如果采用错误的分布q...
2019-07-13 16:38:13 625
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人