2-1 经典机器学习算法-线性回归与逻辑回归-分类回归评估指标

1、简述逻辑回归，并简述它与线性回归的关系

2、回归问题常用的性能度量指标

3、分类问题常用的性能度量指标

4、逻辑回归的损失函数

5、逻辑回归可以处理多标签分类问题吗？

---

1、简述逻辑回归，并简述它与线性回归的关系

逻辑回归在线性层上加非线性的sigmoid函数用于分类任务

线性回归在特征上加入线性变换，用于回归问题

逻辑回归形式上看做线性回归多了sigmoid函数

---

2、回归问题常用的性能度量指标

基本上就是 预测值与真实值差值的平方和、预测值与真实值差值（点对点误差）的绝对值差和，外加平均，和真实值的比值（归一化误差）等组合而来，以下举例几个：

（1）MSE均方误差：每个样本 预测值与真实值差值的平方和 求和取平均

（2）RMSE均方根误差： 每个样本 预测值与真实值差值的平方和 求和取平均，再开方

还有MAE、MAPE等

---

3、分类问题常用的性能度量指标

精确率、召回率、F-score、TPR、FPR

精确率 Precision=TP/(TP+FP)

召回率 Recall=TP/(TP+FN)

真正例率 TPR 即为正例被判断为正例的概率TPR=TP/(TP+FN)

假正例率 FPR 即为反例被判断为正例的概率FPR=FP/(TN+FP)

F-score是Precision、Recall的调和平均数 

---

4、逻辑回归的损失函数

交叉熵 

P(Y = 1 | X) = p p为模型预测样本为1的概率

P(Y = 0 | X) = 1 - p

P(Y | X) =  把上面两个式子写一起 y为标签值

log(P(Y | X)) = ylogp + (1-y)log(1-p)

损失函数求最小=似然求最大

loss_function = - ylogp - (1-y)log(1-p) p为预测概率，y为标签

cost_function等于对每个样本loss_function取平均

---

5、逻辑回归可以处理多标签分类问题吗？

类别互斥，sigmoid改为softmax处理多分类问题

类别不互斥，将多标签分类转换为多个2分类