逻辑回归算法梳理

逻辑回归算法梳理

1、逻辑回归与线性回归的联系与区别

逻辑回归（Logistic regression ）

​ 是一种用于解决二分类问题的机器学习方法，用来估计某种事物的可能 性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。

线性回归（Linear regression）

​ 是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。

联系和区别

​ 这两种模型都是广义线性模型，逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。可以简单的理解为逻辑回归是以线性回归为理论支持的，但是逻辑回归通过Sigmoid函数引入了非线性因素，因此可以轻松处理0/1分类问题。

2、 逻辑回归的原理

​ 对线性回归的结果做一个在函数g上的转换，可以变化为逻辑回归。这个函数g在逻辑回归中们一般取为sigmoid函数，形式如下：
$$g(z)=\frac{1}{1+e^{-z}}$$
​ 当z趋于正无穷时，g(z)趋于1，而当z趋于负无穷时，g(z)趋于0，这非常适合于分类概率模型。它的导数性质：
$$g^{\prime }(z)=g(z)(1-g(z))$$
　　　　令g(z)中的z为：$z=x\theta$，这样就得到了二元逻辑回归模型的一般形式：

$$h_{\theta }=\frac{1}{1+e^{x\theta }}$$

其中x为样本输入，$h^{}$