习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.
答:
平方损失函数(Quadratic Loss Function)
平方损失函数经常用在预测标签y为实数值的任务中,定义为:
交叉熵(Cross Entry)是用来评估当前训练得到的概率分布与真实分布的差异情况,减少交叉熵损失就是在提高模型的预测准确率。其离散函数形式
从平方损失函数运用到多分类场景下,可知平方损失函数对每一个输出结果都十分看重,而交叉熵损失函数只对正确分类的结果看重。例如,对于一个多分类模型其模型结果输出为(a,b,c),而实际真实结果为(1,0,0)。则根据两种损失函数的定义其损失函数可以描述为:
从上述的结果中可以看出,交叉熵损失函数只和分类正确的预测结果有关。而平方损失函数还和错误的分类有关,该损失函数除了让正确分类尽量变大,还会让错误分类都变得更加平均,但实际中后面的这个调整使没必要的。但是对于回归问题这样的考虑就显得重要了,因而回归问题上使用交叉熵并不适合。
习题 2-12 对于一个三分类问题 , 数据集的真实标签和模型的预测标签如下 :
分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均.
格式要求:使用公式编辑器,在博客上正确书写公式。
答:
1的精确率:𝒫1 = 1÷2 = 0.5
2的精确率:𝒫2 = 2÷4 = 0.5
3的精确率:𝒫3 = 2÷3 = 0.67
1的召回率:ℛ1 = 1÷2 = 0.5
2的召回率:ℛ2 = 2÷3 = 0.67
3的召回率:ℛ3 = 2÷4 = 0.5
1的F1值:ℱ1 = (2×0.5×0.5)÷(0.5+0.5) = 0.5
2的F1值:ℱ2 = (2×0.5×0.67)÷(0.5+0.67) = 4÷7 = 0.57
3的F1值:ℱ3 = (2×0.67×0.5)÷(0.67+0.5) = 4÷7 = 0.57
宏平均:
𝒫𝑚𝑎𝑐𝑟𝑜 = (0.5+0.5+0.67)÷3 = 5÷9 = 0.56
ℛ𝑚𝑎𝑐𝑟𝑜 = (0.5+0.5+0.67)÷3 = 5÷9 = 0.56
ℱ1𝑚𝑎𝑐𝑟𝑜 = (2×0.56×0.56)÷(0.56+0.56) = 0.56
微平均:
𝒫micro = 5÷9 = 0.56
ℛmicro = 5÷9 = 0.56
ℱ1micro = (2×0.56×0.56)÷(0.56+0.56) = 0.56