NNDL 作业1：第二章课后习题

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.

          因为分类问题不连续，使用平方损失函数，只要分类错误其loss便相等，没有距离概念，在分类错误的情况下无法判断优化的好坏。 举个例子，若有类型 ，使用one-hot编码， ，无论是预测为 还是 ，loss都一样。 但在实际中，有可能使用decode之后的结果计算。

           当MSE和交叉熵同时应用到多分类场景下时，（标签的值为1时表示属于此分类，标签值为0时表示不属于此分类），MSE对于每一个输出的结果都非常看重，而交叉熵只对正确分类的结果看重。例如：在一个三分类模型中，模型的输出结果为（a,b,c)，而真实的输出结果为(1,0,0)，那么MSE与cross-entropy相对应的损失函数的值如下：
MSE：

 

cross-entropy：

 

从上述的公式可以看出，交叉熵的损失函数只和分类正确的预测结果有关系，而MSE的损失函数还和错误的分类有关系，该分类函数除了