常见的损失函数之MSE\Binary_crossentropy\categorical_crossentropy

损失函数是机器学习最重要的概念之一。

这篇文章写的时候还很嫩，读者指出的很多问题无法一一答复，可参考其他文章哈。

通过计算损失函数的大小，是学习过程中的主要依据也是学习后判断算法优劣的重要判据。

• 常用的损失函数有均方误差：MSE$$loss=\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$$$\frac{\partial loss}{\partial y}=2\sum _{i=1}^n(y_i-{\hat{y}}_i)$$
  是最经典也是最简单的损失函数，几乎万能，但是不太准确。

• binary_crossentropy交叉熵损失函数，一般用于二分类：$$loss=-\sum _{i=1}^n{\hat{y}}_{i}log{y}_i+(1-{\hat{y}}_i)log(1-{\hat{y}}_i)$$$$\frac{\partial loss}{\partial y}=-\sum _{i=1}^n\frac{{\hat{y}}_i}{y_i}-\frac{1-{\hat{y}}_i}{1-y_i}$$
  这个是针对概率之间的损失函数，你会发现只有$y_i$和${\hat{y}}_i$是相等时，loss才为0，否则loss就是为一个正数。而且，概率相差越大，loss就越大。这个神奇的度量概率距离的方式称为交叉熵。

• categorical_crossentropy分类交叉熵函数：$$loss=-\sum _{i=1}^n{\hat{y}}_{i1}log{y}_{i1}+{\hat{y}}_{i2}log{y}_{i2}+\cdots +{\hat{y}}_{im}log{y}_{im}$$ n是样本数，m是分类数，注意，这是一个多输出的loss的函数
  ，所以它的loss计算也是多个的。$$\frac{\partial loss}{\partial y_{i1}}=-\sum _{i=1}^n\frac{{\hat{y}}_{i1}}{y_{i1}}$$$$\frac{\partial loss}{\partial y_{i2}}=-\sum _{i=1}^n\frac{{\hat{y}}_{i2}}{y_{i2}}$$$$\dots$$$$\frac{\partial loss}{\partial y_{im}}=-\sum _{i=1}^n\frac{{\hat{y}}_{im}}{y_{im}}$$
  一般来说，如果最后一层接上softmax作为分类概率输出时，都会用categorical_crossentropy作为损失函数，所以框架中会进行优化，对这两条公式的梯度合起来计算，发现合起来以后，loss计算就会超简单。
  所以稍微介绍一下softmax激活函数：
  $$S_i=\frac{e^{V_i}}{{\sum }_j{e}^{V_j}}$$softmax激活函数，就是将输入数据取指数，然后归一化后，谁的数值较大谁的概率就越大。这解决了输出数据中概率和必需为1。而且输出概率值与输入值之间成正相关的问题。更重要的是它的求导形式很简单：
  i和j相同时：$$\frac{\partial S_i}{\partial V_i}=S_i(1-S_i)$$i和j不同时：$$\frac{\partial S_i}{\partial V_j}=-S_i{S}_j$$尽管看起来也很复杂，但是和交叉熵结合在一起，就比较简单了。具体推导有时间再看~