白面机器学习第三天

 

 

1.逻辑回归相比线性回归,有何异同

不同之处：
1.逻辑回归解决的是分类问题，线性回归解决的是回归问题，这是两者最本质的区别

2.逻辑回归中因变量是离散的，而线性回归中因变量是连续的这是两者最大的区别

3在自变量和超参数确定的情况下逻辑回归可看作广义的线性模型在因变量下服从二元分布的一个特殊情况

4.使用最小二乘法求解线性回归时我们认为因变量服从正态分布

相同之处：
1.二者在求解超参数的过程中都使用梯度下降的方法

2.二者都使用了极大似然估计对训练样本进行建模

二. 回归问题常用的性能度量指标

均方误差：是反映估计值与被估计量之间差异程度的一种度量。

RMSE均方根误差：观测值与真值偏差的平方和与观测次数m比值的平方根，用来衡量观测值同真值之间的偏差。

3)SSE和方误差

4)MAE：直接计算模型输出与真实值之间的平均绝对误差

5)MAPE：不仅考虑预测值与真实值误差，还考虑了误差与真实值之间的比例。

6)平均平方百分比误差

7)决定系数

三.分类问题常用的性能度量指标

常用的性能度量指标有：精确率、召回率、F1、TPR、FPR。

预测为真预测为假真实为真TP(true positive)FN(false negative)真实为假FP(false positive)TN(true negative)

精确率Precision=TP/(TP+FP)

召回率Recall=TP/(TP+FN)

真正例率即为正例被判断为正例的概率TPR=TP/(TP+FN)

假正例率即为反例被判断为正例的概率FPR=FP/(TN+FP)

精确率又称查准率，顾名思义适用于对准确率较高的应用，例如网页检索与推荐。召回率又称查全率，适用于检测信贷风险、逃犯信息等。精确率与召回率是一对矛盾的度量，所以需要找一个平衡点，往往使用F1是精确率与召回率的调和平均值：

 

 

(1) 错误率和准确率

错误率：

 

 

准确率：acc=1-e

(2)AUC与ROC曲线

对于0、1分类问题，一些分类器得到的结果并不是0或1，如神经网络得到的是0.5、0.6等，此时就需要一个阈值cutoff，那么小于阈值的归为0，大于的归为1，可以得到一个分类结果。

ROC曲线(Receiver Operational Characteristic Curve)是以False Positive Rate为横坐标，True Postive Rate为纵坐标绘制的曲线。

曲线的点表示了在敏感度和特殊性之间的平衡，例如越往左，也就是假阳性越小，则真阳性也越小。曲线下面的面积越大，则表示该方法越有利于区分两种类别。

AUC即为ROC曲线所覆盖的区域面积。

四.逻辑回归的损失函数

 

逻辑回归模型预估的是样本属于某个分类的概率，其损失函数(Cost Function)可以像线型回归那样，以均方差来表示；也可以用对数、概率等方法。损失函数本质上是衡量”模型预估值“到“实际值”的距离，选取好的“距离”单位，可以让模型更加准确。

1. 均方差距离

 

Jsqrt(w)=∑i=1myi(1−p(xi;w))2+(1−yi)(0−p(xi;w))2(1)Jsqrt(w)=∑i=1myi(1−p(xi;w))2+(1−yi)(0−p(xi;w))2(1)

用均方差作为损失函数，当模型完全预估错误时（y=1, p=0; 或y=0， p=1），损失是1。预估正确时，损失是0。错误值离正确值的“距离”相对较小，区分度不大。

另外，上面的损失函数相对θθ并非是凸函数，而是有很多极小值（local minimum）的函数。因此，很多凸优化的算法（如梯度下降）无法收敛到全局最优点。

五.逻辑回归处理多标签分类问题时，一般怎么做？

 

我们可以训练k个二分类的逻辑回归 分类器。第i个分类器用以区分每个样本是否可以归为第i类，训练该分类器时，需要把标签重新整理为“第i类标签”与“非第i类标签”两类。

通过这样的办法，我们就 解决了每个样本可能拥有多个标签的情况。