逻辑回归算法梳理

1. 逻辑回归与线性回归的联系与区别

联系：逻辑回归是通过线性回归模型的预测结果去逼近真实标记的对数几率

1).线性回归是一种回归学习方法，逻辑回归实际上是一种分类学习方法
2).线性回归代价函数采用均方误差，逻辑回归代价函数采用极大似然函数

2. 逻辑回归的原理

逻辑回归也被称为对数几率回归，算法名虽然叫做逻辑回归，但是该算法是分类算法，个人认为这是因为逻辑回归用了和回归类似的方法来解决了分类问题。

逻辑回归模型是一种分类模型，用条件概率分布的形式表示 P(Y|X)P(Y|X)，这里随机变量 X 取值为 n 维实数向量，例如x=(x(1),x(2),…,x(n))x=(x(1),x(2),…,x(n))，Y 取值为 0 或 1。即：

假设有一个二分类问题，输出为y∈{0,1}y∈{0,1}，二线性回归模型z=wTx+bz=wTx+b是个实数值，我们希望有一个理想的阶跃函数来帮我什么实现z值到0/1值的转化，于是找到了Sigmoid函数来代替：

有了 Sigmoid 函数之后，由于其值取值范围在[0,1]。就可以将其视为类 1 的后验概率估计 p(y=1|X)p(y=1|X)。说白了，就是如果有了一个测试点 x，那么就可以用Sigmoid函数算出来的结果当作该点 x 属于类别 1 的概率大小。

3. 逻辑回归损失函数推导及优化

接下来要做的就是根据给定的训练集，把参数 w 给求出来了。要找参数 w，首先就得把代价函数（Cost Function）给定义出来，也就是目标函数。我们第一个想到的自然是模仿线性回归的做法，利用误差平方和来当代价函数:

sklearn参数

sklearn.linear_model.LogisticRegression(penalty=’l2’,dual=False,tol=0.0001,C=1.0,
fit_intercept=True,intercept_scaling=1,class_weight=None,max_iter=100,multi_class=’ovr’,warm_start=False,n_jobs=1)
penalty:正则化选择参数，参数可选值为l1和l2
dual：用来指明是否将原问题改成其对偶问题
tol：残差收敛条件，默认是0.0001，即收敛的时候，两步之差<0.0001,就停止。
C：正则化系数
fit_intercept:是否将截距/方差加入到决策模型中
class_weight:调节正负样本比例
max_iter=100,算法最大迭代次数
multi_class:分类方法参数选择，有两个值可供选择，ovr和multinomial
warm_start:是否使用上次的模型结果作为初始化，默认是false，表示不使用
n_jobs:并行运算数量，默认是1，如果设置为-1，则表示将电脑的cpu全部用上。