Logistic回归

Logistic模型的产生：

Logistic回归是一种判别式分类器，直接对进行建模，相比之下产生式分类器对联合分布进行建模，典型的产生式分类器有朴素贝叶斯分类器。

Logistic回归是一种分类模型，因为形式与线性回归相似，所以被称为回归，实为分类。

1. 输入特征向量为，输入目标为二值变量，模型参数为向量。由于目标为二值变量，所以不难想象可以用伯努利分布来进行建模，即：

其中，即：

2. 计算输入的线性组合，经过一个函数，使得，这样就可以表示一个概率了！

这里sigm表示sigmoid函数（S形函数），也被称为Logistic函数，其定义为：

其图形为：

综上，就得到了Logistic回归模型：

那么现在问题来了，可以将的线性组合映射到[0, 1]区间的函数有很多，为什么选择Logistic函数呢？我觉得就是使用Logistic函数会有很好的性质，下面将进行解释：

一个事件的几率（odds）是指该事发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p，那么该事件的几率就是。定义对数几率（LOR）为：

对于Logistic回归而言，有：

所以

是定义在实数域上的，所以Logistic回归可以看作是这样一个问题：对于输入，计算其线性组合，如果则输出；如果则输出。是不是有非常简单直观的含义！并且选择Logistic函数与神经网络算法也是有一定吻合！

计算Logistic模型的参数：

接下来的问题就是如何计算模型的参数了，一般的方法有MLE或MAP，在计算极值时可能又需要用到梯度下降法或牛顿法等。

下面就以MLE+梯度下降法来计算模型参数。

MLE：

负log似然为：

其中

对求偏导可得：（过程省略）

梯度下降法：

对所有的训练数据,，计算：

（可以同时更新的所有维）

直至收敛，为学习率。

这里表示预测残差，所有的回归算法，使用梯度下降求解时都有相似的形式！