Logistic回归中的Logit函数和sigmoid函数

在线性回归中，$y=w^{T}x$，是用直线去拟合数据，实现最小二乘意义下的最小预测误差。

在逻辑回归中：$logit(p)=log(\frac{p}{1-p})=w^{T}x$，可以看作是用直线去拟合Logit函数，通过极大似然估计出参数，使得在该参数下，能以最大概率生成当前的样本。

这里要说明的是，线性回归解决的是回归问题，而逻辑回归是分类问题，但两者的形式非常的相似，上面两式的右边也是一致的。

Logistic回归通过对数据分类边界的拟合来实现分类。而这条数据分类边界即为直线，这也是它为什么可以被看作是一个广义线性模型的原因

在线性回归中，回归的因变量y是连续的，没有明确的上下限，因此可以用线性模型来拟合。而逻辑回归应用于分类时，因变量，也就是类别y只有0和1，满足二项分布，这是连续的线性模型无法拟合的。因此，需要选择最佳的连接函数，它就是Logit函数。

这里给出Logit函数的图像(来自维基百科)：

可以看出Logit函数能把自变量从(0,1)连续单调地映射到正负无穷，这里类别y的0和1值分别对应(0,0.5)和(0.5,1)的概率值p。

另外，把$w^{T}x$看作一个整体，反解出p，就会看到我们熟悉的sigmoid函数

$$p=\frac{1}{1+e^{-w^{T}x}}=sigmoid(w^{T}x)$$

这里的sigmoid函数有非线性化和限幅的作用，限制在(0,1)之间，才能够用于分类。

总结：

Logistic回归是对特征（feature）做加权相加后，输入给Sigmoid函数，用Sigmoid函数的输出来确定二分类的结果。

其中的logistic就是sigmoid函数，因为它也叫logistic函数。它与logit函数互为反函数。

其中的回归在这里的含义可以理解为最佳拟合，表示要找到最佳拟合参数集用于对特征加权。训练分类器就是用最优化方法去寻找最佳拟合参数。