逻辑回归模型原理

逻辑回归模型

逻辑回归是回归模型还是分类模型？

分类模型。分类与回归最大的差别在于输出变量Y的形式不同，前者Y取有限个离散值，后者的Y是连续值。

为什么名字中带“回归”二字？

逻辑回归就是用回归的方法（用函数拟合自变量和因变量关系），加上一个分类规则，对结果分类。

逻辑回归（Logistic Regression），简称为LR，是机器学习中的一种分类问题。常用于二分类问题。比如预测用户是否点击特定商品，判断肿瘤是阴性还是阳性。

---

1逻辑函数（sigmoid函数）

逻辑函数，又称为sigmoid函数，其返回值是 0 到 1 之间的数，正好对应为概率的返回值。表示形式为
$$\frac{1}{1+e^{-z}}$$

g(z)越趋近于 1，表示结果为 1 的概率越大，且概率值就等于 g(z)，反之，当 g(z)越趋近于 0，表示结果为 0 的概率越大，且概率值等于 1- g(z)。

对应的函数图像是一个取值在0和1之间的S型曲线

这个函数起源于人们对人口增长的研究，由一个比利时科学家推导出来。

2逻辑回归模型

2.1模型定义

逻辑回归模型用条件概率分布P(Y|X)表示， 当随机变量Y取值为1或0时，称为二项逻辑回归模型。二项逻辑回归模型是目前使用最广泛的逻辑回归模型，因此如非特别说明，本文中逻辑回归模型一般代指二项逻辑回归模型。
模型公式如下，
$$p(Y=1|x)=\frac{e^{wx+b}}{1+e^{wx+b}}$$
$$p(Y=0|x)=\frac{1}{1+e^{wx+b}}$$
$x\in R^n$是输入， y ∈ { 0 , 1 } y\in\{0,1\} y∈{ 0,1}是输出， $w\in R^n$，$b\in R$，w称为权值向量，b称为偏置，w*x为w和x的内积。当w,x为多维矩阵时，b可忽略不计。

逻辑回归是为了解决分类问题，需要找到一个足够区分度的决策边界（wx+b）， 在这个基础上找到分类概率与输入变量的关系，然后通过比较概率值判断属于哪一类。

为什么选择sigmoid函数作为逻辑回归模型的判别函数?
判别函数：用来表示和鉴别某个特征矢量属于哪个类别的函数
条件概率服从指数族分布，进而可以推导出sigmoid函数。具体过程省略

2.2模型参数估计

在实际应用中，随机变量X已知，只需要求出参数w, 就可以计算出事件预测结果概率，如果概率大于阈值，我们认为样本是正类，否则样本是负类。

如何确定w的值呢？
模型的目的就是尽可能准确的将样本分类，换句话就是让预测的结果全部准确的概率最大。因此采用最大似然估计 。
为什么不用采用的最小二乘法？
用最小二乘法得到的损失函数不是关于参数w的凸函数，在求解过程中会得到局部最优，不容易得到全局最优。

设 p ( Y = 1 ∣ x ; w )