机器学习算法之： 逻辑回归 logistic regression (LR)

by joey周琦

LR介绍

逻辑回归属于probabilistic discriminative model这一类的分类算法

probabilistic discriminative mode这类算法的思路如下：
- 直接建模$P(C_k|x)$
- 利用最大似然估计和训练数据，估计出模型中的参数

该类想法相对于生成模型（probabilistic generated model) 有参数较少的优点。因为生成模型需要$P(x|C_k)$和先验概率$P(C_k)$.

LR是工业界最长用的分类算法之一，其主要原因，个人认为有几点如下：

• 训练速度快，扛得住大数据
• 模型可解释度、可理解程度高，根据每个特征的系数，就可以判断出该特征在模型中的重要性，帮助判断模型是否合理
• 可以接受的精度

本文，对LR做一个简单的总结

LR二分类

首先做下简单的符号说明，在下述推导中，$N$为样本个数，$M$为特征数目，$x \in R_M$为特征向量， $K$为可分类的总数，$P(C_k|x)$表示在特征向量的前提下，判别为第k类的概率。$w \in R_M$为LR模型的参数，即训练LR的主要目的就是要得到$w$。

对于$K=2$类，建模如下:

$$P(C_1|x)=y(x)=\sigma(w^Tx)=\frac{1}{1+e^{-w^Tx}}$$

$\sigma$是logistic sigmoid function, 它有个性质（1）：

$$\frac{d\sigma(a)}{d a} = \sigma(1-\sigma)$$

其中$y_n=\sigma(a_n)$且 $a_n=w^Tx$。假设我们有数据集{ $x_n,t_n$ }, $n=1...N$,