1、简述逻辑回归,并简述它与线性回归的关系
2、回归问题常用的性能度量指标
3、分类问题常用的性能度量指标
4、逻辑回归的损失函数
5、逻辑回归可以处理多标签分类问题吗?
1、简述逻辑回归,并简述它与线性回归的关系
逻辑回归在线性层上加非线性的sigmoid函数用于分类任务
线性回归在特征上加入线性变换,用于回归问题
逻辑回归形式上看做线性回归多了sigmoid函数
2、回归问题常用的性能度量指标
基本上就是 预测值与真实值差值的平方和、预测值与真实值差值(点对点误差)的绝对值差和,外加平均,和真实值的比值(归一化误差)等组合而来,以下举例几个:
(1)MSE均方误差:每个样本 预测值与真实值差值的平方和 求和取平均
(2)RMSE均方根误差: 每个样本 预测值与真实值差值的平方和 求和取平均,再开方
还有MAE、MAPE等
3、分类问题常用的性能度量指标
精确率、召回率、F-score、TPR、FPR
精确率 Precision=TP/(TP+FP)
召回率 Recall=TP/(TP+FN)
真正例率 TPR 即为正例被判断为正例的概率TPR=TP/(TP+FN)
假正例率 FPR 即为反例被判断为正例的概率FPR=FP/(TN+FP)
F-score是Precision、Recall的调和平均数
4、逻辑回归的损失函数
交叉熵
P(Y = 1 | X) = p p为模型预测样本为1的概率
P(Y = 0 | X) = 1 - p
P(Y | X) = 把上面两个式子写一起 y为标签值
log(P(Y | X)) = ylogp + (1-y)log(1-p)
损失函数求最小=似然求最大
loss_function = - ylogp - (1-y)log(1-p) p为预测概率,y为标签
cost_function等于对每个样本loss_function取平均
5、逻辑回归可以处理多标签分类问题吗?
类别互斥,sigmoid改为softmax处理多分类问题
类别不互斥,将多标签分类转换为多个2分类