- 博客(2)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 math: sigmoid 函数
公式y=11+e−a⋅xy = \frac{1}{1 + e^{-a \cdot x}} y=1+e−a⋅x1曲线特性物理特性1. 优点：Sigmoid函数的输出映射在(0,1)之间，单调连续，输出范围有限，优化稳定，可以用作输出层。求导容易。2. 缺点：由于其软饱和性，容易产生梯度消失，导致训练出现问题。其输出并不是以0为中心的。3. 应用：logistic...
2019-07-13 16:54:51
1121
原创 math: 交叉熵（Cross-Entropy）
0. 交叉熵（Cross-Entropy）假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布。假如，按照真实分布p来衡量识别一个样本所需要的编码长度的期望为：H(p)=∑ip(i)⋅log(1p(i))H(p)=\sum_{i}{p(i) \cdot \log(\frac{1}{p(i)})}H(p)=i∑p(i)⋅log(p(i)1)但是，如果采用错误的分布q...
2019-07-13 16:38:13
563
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人