逻辑回归模型

逻辑回归（Logistic Regression，简称LR）是最常见的一种分类模型。
这里简单介绍下其推导过程。

设有训练数据${(x^1, y^1), (x^2, y^2), ..., , (x^m, y^m)}$

其中
$x^i$为特征（feature），是一个n维向量$(x^i_1, x^i_2, ..., x^i_n)$
$y^i$为类别（label），且$y^i\in \{0, 1\}$

逻辑回归的分类模型为

$h(x^i) = sigmoid(\theta^Tx^i)$

式中的$\theta$为LR的参数，是一个n维向量

且$h(x^i)$的意思为$x^i$的类别为1的概率

于是可以得到LR的似然函数为

$L(\theta) = \prod\limits_{i=1}^mp(y^i|x^i,\theta) = \prod\limits_{i=1}^m(h(x^i))^{y^i}(1-h(x^i))^{1-y^i}$

优化目标是得到使得似然函数最大化的$\theta$值
由于对$L(\theta)$最大化等价于对$\log L(\theta)$的最大化
新的优化目标

$\log L(\theta) = \sum\limits_{i=1}^my^i\log(h(x^i))+(1-y^i)\log(1-h(x^i))$

对$\log L(\theta)$的最大化等价于对$-\log L(\theta)$的最小化
因此有新的优化目标，也就是常说的损失函数（cost function)了。

$cost(\theta) = \sum\limits_{i=1}^m-y^i\log(h(x^i))-(1-y^i)\log(1-h(x^i))$

对上式的最优化常用的算法有梯度下降法，牛顿法，以及各种拟牛顿法。