分类算法----逻辑回归Logistic原理和Python实现学习笔记

1 什么是逻辑回归

Logistic属于概率型非线性回归，分为二分类和多分类的回归模型。对于二分类的逻辑回归只有是和否两个取值，记为1和0,在自变量xi(i从1到n)，y取是的概率为P，y取否的概率为1-P，研究的是当y取是发生的概率p与xi的关系

逻辑回归优点：
1）预测结果是介于0和1之间的概率；
2）可以适用于连续性和类别性自变量；
3）容易使用和解释；
缺点：
1）对模型中自变量多重共线性较为敏感，在数据选择前需对变量的相关性做处理。以减少候选变量之间的相关性；
2）预测结果呈“S”型，因此从log(odds)向概率转化的过程是非线性的，在两端随着​log(odds)值的变化，
概率变化很小，边际值太小，slope太小，而中间概率的变化很大，很敏感。 
导致很多区间的变量变化对目标概率的影响没有区分度，无法确定阀值。

2 Logistic函数

Logistic回归模型中的因变量只有1-0（假设为二分类问题）两种取值，y取1的概率为p，y取0概率为1-p，1和0的概率之比称为优势比（odds）即为p/(1-p)对优势比取自然对数即得Logistic变换

逻辑函数的图形展示如下所示，

3逻辑回归模型