机器学习打卡2

逻辑回归是什么？

我们首先来回顾一下什么是线性回归，线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记，而我们通常通过研究属性（可能不止一个）来构造模型，就像是预测房价，我们需要房子大小、使用年限、房间数量等来预测一套房子能买多少钱，而我们构建出来的模型通常也是连续的。那么，逻辑回归呢？试想一下，如果你是一个医生，此时来了一位病人拿着他的报告单，你需要通过报告单上的各类数据判断这位病人是否患了某种疾病（0~1的概率）；亦或是你现在要去市场上买一个西瓜，你需要通过观察这个西瓜的各种特性（瓜蒂什么的）来判断这是否是一个好瓜。（( •ω• )导入结束）逻辑回归便能帮到我们。说白了，我觉得逻辑回归解决的就是输出变量为有限个离散变量的分类问题，当然这个分类不只是“是或不是”，它要表达的更多是一种概率。

逻辑回归与线性回归的联系与区别

1. 总结之前所说，线性回归和逻辑回归都能预测某件事发生的概率，而线性回归的输出一般是连续的， 对于每一个输入的x，都有一个对应的输出y。而对于逻辑回归的输出一般是离散的，通常是0,1（通过预测一个概率，比如概率大于0.5就输出1）。
2. 逻辑回归与线性回归的属性都可以是多元的。

逻辑回归的原理

而逻辑回归通常有一个分界的地方，那就是0.5那里，在图中则反映为决策边界：

逻辑回归损失函数推导及优化

在我们构造逻辑回归的损失函数时，我们通常会想到想到模仿线性回归中的平方误差作为损失函数，但是此时得到的是一个非凸函数，意味着有许多局部最优解，就不能得到全局最优解。何为局部最优解和全局最优解？全局最优解就像是一个碗，它的碗底就是整个碗最低的地方，局部最优解就像是这个碗还有很多很多的大小不一的坑，每一个坑都有一个最低点，但这个最低点并不一定就是整个碗的最低点。比如：

优化

除了梯度下降，还有更高级的优化：共轭梯度法，BFGS，L-BFGS等，这些高级优化法的优点就在于比梯度下降法更快，并且不需要人为选择α参数，但也更加复杂。

正则化与模型评估指标

如果我们有非常多的特征来拟合模型，那么这个学习曲线可能会把训练集拟合得非常好（损失函数几乎为0）但是却会几乎不具备泛化能力，对新的样本预测结果十分不理想，这也是之前讲过的：过拟合。如何解决过拟合问题呢？

• 可以尝试着减少特征的数量（但此时需要我们人为地挑选这些特征是否需要留下）
• 正则化：保持所有的特征，但是减少量级或参数θj的大小。当我们有很多特征时正则化也会工作得很好。
  

性能度量

常用的评价标准有：

• 错误率和精度
• 查准率和查全率
• ROC和AUC
• 代价敏感错误率与代价曲线
  简单解释一下：
  

逻辑回归的优缺点

在此我引用以下朋友的博客：
http://m.elecfans.com/article/691754.html

样本不均衡问题解决办法

https://blog.csdn.net/CherDW/article/details/54891073
https://blog.csdn.net/zhangf666/article/details/78860376