sigmoid/逻辑回归要用交叉熵/最大似然的原理
为什么选择交叉熵结论:在使用sigmoid作为激活函数的时候,cross entropy相比于平方损失函数,具有收敛速度快,更容易获得全局最优的特点;使用softmax作为激活函数,log-likelihood作为损失函数,不存在收敛慢的缺点。对于损失函数的收敛特性,我们期望是当误差越大的时候,收敛(学习)速度应该越快。对于一个神经元/逻辑回归,可以表示为:z=wx+v,y=σ(z)z =...
原创
2019-07-22 16:21:52 ·
643 阅读 ·
0 评论