任务2 - 逻辑回归算法梳理

逻辑回归与线性回归的联系与区别

联系：两者都是线性模型

区别：逻辑回归主要用来分类，线性用来主要用来回归

逻辑回归的原理

sigmoid函数
$$g(z)=\frac{1}{1+e^{-z}}$$

逻辑回归损失函数推导及优化

通过极大似然估计

参考吴恩达老师的课程笔记

正则化与模型评估指标

L1正则化、L2正则化

准确率、召回率

逻辑回归的优缺点

优点

（模型）模型清晰，背后的概率推导经得住推敲。
（输出）输出值自然地落在0到1之间，并且有概率意义
（参数）参数代表每个特征对输出的影响，可解释性强。
（简单高效）实施简单，非常高效（计算量小、存储占用低），可以在大数据场景中使用。
（可扩展）可以使用online learning的方式更新轻松更新参数，不需要重新训练整个模型。
（过拟合）解决过拟合的方法很多，如L1、L2正则化。
（多重共线性）L2正则化就可以解决多重共线性问题。

缺点

（特征相关情况）因为它本质上是一个线性的分类器，所以处理不好特征之间相关的情况。
（特征空间）特征空间很大时，性能不好。
（精度）容易欠拟合，精度不高。

样本不均衡问题解决办法

重采样、更换损失函数（focalloss）

sklearn参数

函数：sklearn.linear_model.LogisticRegression()

API手册

参考

西瓜书

cs229吴恩达机器学习课程

李航统计学习

谷歌搜索

公式推导参考：http://t.cn/EJ4F9Q0

任务地址

吴恩达深度学习笔记

机器学习中的目标函数、损失函数、代价函数有什么区别？

python机器学习库sklearn——线性回归

sklearn中文文档0.21.3

sklearn英文文档