softmax和交叉熵。上

这里插播一个东西，这个时候在公司跑yolov3的时候，看的一些东西，你不用看，我只是不想写字，又不想重新开个word或者博客什么的就写在这了，反正这博客也没人看也就你一个。

v3使用的是二元交叉熵损失，这里突然搞混了softmax和交叉熵，百度一波。

激活函数和损失函数

激活函数，如sigmoid，主要是提供网络的非线性建模能力。可微性{优化采用梯度}、单调性{能保证是凸函数}、输出值的范围{有限，}。

损失函数如平方损失。

softmax用于计算概论分布。求概率分布的方式与损失函数之间可以自由搭配，没有必然联系。

交叉熵用于度量两个概念分布之间的相似性https://blog.csdn.net/u012162613/article/details/44239919。

当神经网络选择simoid激活函数时，他的倒数y'()在两端的值很小接近0，导致参数更新会非常慢，如采用普通的均方误差损失{平方的倒数还有y'()}，效果不好，

：

w <—— w - η* ∂C/∂w = w - η * a *σ′(z)

b <—— b - η* ∂C/∂b = b - η * a * σ′(z)

因为接近于0，使得w、b更新很慢。可以用交叉熵。他的倒数没有y'()这一项

误差大时y()大，w、b更新快。