NNDL 作业1:第二章课后题

习题 2-1 分析为什么平方损失函数不适用于分类问题 , 交叉熵损失函数不适用于回归问题.

平方损失函数经常用在预测标签y为实数值的任务中定义为:

\zeta (y,f(x; \theta ))=\frac{1}{2}(y-f(x;\theta ))^{2}

首先我们要了解分类的概念。在一个二分类问题中y = { + 1 , − 1 } 在K分类问题中,y = { 1 , 2 , 3 , ⋅ ⋅ ⋅ , C } 可以看出分类问题输出的结果为离散的值。分类问题中的标签,是没有连续的概念的。每个标签之间的距离也是没有实际意义的。所以平方损失函数的值不能反应分类这个问题的优化程度。比如分类 1,2,3, 真实分类是1, 而被分类到2和3错误程度应该是一样的,但是明显当我们预测到2的时候是损失函数的值为1/2,预测到3的时候损失函数却为2,在相同的结果下却给出了不同的值,这对我们优化参数产生了误导。因此平方损失函数不适用于分类问题。

从平方损失函数运用到多分类场景下,可知平方函数对每一个输出结果都十分看重,而交叉熵损失函数值的正确的分类结果看重。该损失函数除了让正确分类变大,还会让错误分类都变得平均,但实际中后面这个调整是没有必要的,但是对于回归问题这样的考虑就显得重要了。因此交叉熵损失函数不适用于回归问题。

习题 2-12 对于一个三分类问题 , 数据集的真实标签和模型的预测标签如下 :

真实标签112223333
预测标签122233312

分别计算模型的精确率、召回率、F1值以及它们的宏平均和微平均.  

混淆矩阵:

预测为真预测为假
类别为真正确预测成真(True Positive,TP)错误预测为假(False Nagetive,FN)
类别为假错误预测为真(False Positive,FP)正确预测为假(True Nagetive,TN)

精确率:

P1=\frac{TP1}{TP1+FP1}=\frac{1}{2}

P2=\frac{TP2}{TP2+FP2}=\frac{1}{2}

P3=\frac{TP3}{TP3+FP3}=\frac{2}{3}

召回率:

R1=\frac{TP1}{TP1+FN1}=\frac{1}{2}

R2=\frac{TP2}{TP2+FN2}=\frac{2}{3}

R3=\frac{TP3}{TP3+FN3}=\frac{1}{2}

F值:

F1=\frac{(1+\beta ^{2})*P1*R1}{\beta ^{2}*P1+R1}=\frac{1}{2}

F2=\frac{(1+\beta ^{2})*P2*R2}{\beta ^{2}*P2+R2}=\frac{4}{7}

F3=\frac{(1+\beta ^{2})*P3*R3}{\beta ^{2}*P3+R3}=\frac{4}{7}

宏平均:

P_{macro}=\frac{1}{n}\sum ^{n}_{i=1}P_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{1}{2}+\frac{2}{3})=\frac{5}{9}

R_{macro}=\frac{1}{n}\sum ^{n}_{i=1}R_{i}=\frac{1}{3}*(\frac{1}{2}+\frac{2}{3}+\frac{1}{2})=\frac{5}{9}

F1_{macro}=\frac{2*P_{macro}*R_{macro}}{P_{macro}+R_{macro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}

微平均:

P_{micro}=\frac{\sum _{i=1}^{n}TP_{i}}{\sum _{i=1}^{n}TP_{i}+\sum _{i=1}^{n}FP_{i}}=\frac{1+2+2}{1+2+2+1+2+1}=\frac{5}{9}

R_{micro}=\frac{\sum _{i=1}^{n}TP_{i}}{\sum _{i=1}^{n}TP_{i}+\sum _{i=1}^{n}FN_{i}}=\frac{1+2+2}{1+2+2+1+1+2}=\frac{5}{9}

F1_{micro}=\frac{2*P_{micro}*R_{micro}}{\beta ^{2}*P_{micro}*R_{micro}}=\frac{2*\frac{5}{9}*\frac{5}{9}}{\frac{5}{9}+\frac{5}{9}}=\frac{5}{9}

总结:学会了如何计算模型的精确率、召回率、F1值以及它们的宏平均和微平均,并且学会了如何使用CSDN的插入公式。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值