逻辑回归算法梳理

1.逻辑回归与线性回归的联系与区别

线性回归是机器学习中最简单的回归算法，它可以写为一个熟悉的表达式：
$z={\theta }_0+{\theta }_1+...+{\theta }_n{x}_n$
$\theta$被称为为模型的参数，其中${\theta }_0$被称为截距，${\theta }_1\backsim {\theta }_n$被称为系数，这个表达式可以用矩阵表示：
$z=[{\theta }_0,{\theta }_1,{\theta }_2...{\theta }_n]\ast \left[\begin{array}{c}{x}_o\\ x_1\\ x_2\\ ...\\ x_n\end{array}\right]={\theta }^{T}x(x_0=1)$
而构造${\theta }^T和{\theta }_0$是我们主要的工作，最小二乘法是我们做常用的工具，通过函数$z$,线性回归使用输出的特征矩阵$X$来输出一组连续型的标签值y${}_{pred}$来完成预测任务，特性的比如（房价预测，公司业务增长等）。如果标签是离散型变量，尤其是满足$1\backsim 0$之间变量该如何处理，这时候我们需要引入联系函数，将$z$也映射到$0\backsim 1$之间。这个联系函数对逻辑回归来说就是$Sigmoid$函数：
$g(z)=\frac{1}{1+e^{-z}}$
线性回归中$z={\theta }^{T}x$,于是我们将$z$带入，会得到什么样的结果呢：
$g(z)=y(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$
而$g(z)就是我们逻辑回归返回的标签值，此时，y(x)的取值在[0,1]之间$，因此$y(x)和1-y(x)相加为1$，我们令二者相除，得到：
$ln\frac{y(x)}{1-y(x)}=ln\frac{\frac{1}{1+e^{-{\theta }^{T}x}}}{1-\frac{1}{1+{\theta }^{T}x}}$
$...$
=${\theta }^{T}x$
不难发现，$g(x)的形式几率取对数的本质就是我们的线性回归z,我们实际是在对线性回归模型的预测结果取对数让无限逼近0和1，因此，其对应的模型被称为“对数几率回归”$，也就是我们的逻辑回归。
虽然逻辑回归在相关书籍描述较少，但是其在工商业任然有你可替代的地位：

1.逻辑 回归对线性关系的拟合效果非常好

2.逻辑回归计算快

3.逻辑回归返回分类结果并不是固定在0,1，而是以小数形式呈现的概率数字

2.skearn中的 LogisticRegression

LogisticRegression(
penalty=‘l2’,
dual=False,
tol=0.0001,
C=1.0,
fit_intercept=True,
intercept_scaling=1,
class_weight=None,
random_state=None,
solver=‘liblinear’,
max_iter=100,
multi_class=‘ovr’,
verbose=0,
warm_start=False,
n_jobs=1,
)

------参考菜菜的skearn课堂