机器学习常用算法：Logistic Regression

逻辑斯谛分布

设$X$ 是连续随机变量，$X$ 服从逻辑斯谛分布是指$X$ 具有下列分布函数和密度函数：
分布函数

$$F(x) = P(X \le x) = \frac{1}{1+e^{-(x-\mu)/\gamma}}$$
密度函数

$$f(x) = F'(x)=\frac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2}$$
式中， $\mu$ 为位置参数， $\gamma$ 为形状参数。
其分布函数是S形函数，其特点是当x趋于无穷大时，概率值趋于1；当x趋于无穷小时，概率值趋于0.

逻辑斯谛回归模型

逻辑斯谛回归模型是由以下条件概率分布表示的分类模型，可用于二类或多类分类。

$$P(Y=k|x) = \frac{exp(w_k\cdot x)}{1+\sum_{i=1}^{K-1} exp(w_k\cdot x) }, k=1,2,...,K-1$$
$$P(Y=K|x)=\frac{1}{1+\sum_{i=1}^{K-1} exp(w_k\cdot x) }$$

式中，$x$ 为输入特征，$w$ 为特征的权值向量。

逻辑斯谛回归比较两个条件概率值的大小，将实例$x$ 分到概率值较大的那一类。

补充：
几率：一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率为p，那么该事件的几率为${p \over 1-p}$，该事件的对数几率是

$$logit(p)=log{p \over 1-p}$$
在逻辑斯谛回归模型中，输出Y=1的对数几率为

$$logit(P(Y=1|x)) = log\frac{P(Y=1|x)}{1-P(Y=1|x)}=w \cdot x$$

即输出Y=1的对数几率是由输入x的线性函数表示的模型

模型参数估计

对于给定的训练集$T= \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \}$ ，其中，$x_i \in \Re ^n$ ，$y_i \in \{ 0, 1\}$ 。可以应用极大似然估计法估计模型参数$w$ ，从而得到逻辑斯谛回归模型。
设：$P(Y=1|x) = \pi(x)$ , $P(Y=0|x)=1-\pi(x)$
其似然函数为

$$\prod_{i=1}^N [\pi(x_i)]^{y_i} [1-\pi(x_i)]^{1-y_i}$$
其对数似然函数为
$$\begin{split} L(w) & = \sum_{i=1}^N [y_i \text{log} \pi(x_i) + (1-y_i) \text{log} (1-\pi(x_i))] \\ & = \sum_{i=1}^N [y_i \text{log} \frac {\pi(x_i)}{1-\pi(x_i)} + \text{log} (1-\pi(x_i))] \\ & = \sum_{i=1}^N [y_i(w \cdot x_i) - \text{log}(1+exp(w \cdot x_i))] \\ \end{split}$$
对 $L(w)$ 求极大值，即问题转变为以对数似然函数为目标函数的最优化问题，通常采用梯度下降法或拟牛顿法可得到 $w$ 的估计值$\hat w$ ，则学习到的逻辑斯谛回归模型为

$$P(Y=1|x) = \frac{exp(\hat w \cdot x)}{1+ exp(\hat w \cdot x) }$$
$$P(Y=0|x)=\frac{1}{1+ exp(\hat w \cdot x) }$$

结论

应用场景：
二分类问题：
邮件：垃圾邮件/非垃圾邮件
在线交易：是否欺诈（是/否）
肿瘤：恶性/良性

多分类问题：
电子邮件分类/标注： 工作邮件，朋友邮件，家庭邮件，爱好邮件
医疗图表(medical diagrams): 没有生病，着凉，流感
天气：晴天，多云，雨，雪

logistic回归一般用于类别之前有联系的多分类问题
类别之间互斥则一般选择softmax回归

优点：
1.实现简单
2.分类时计算量非常小，速度很快，存储资源低；

缺点：
1.容易欠拟合，一般准确度不太高
2.必须线性可分；

参考资料

Coursera公开课笔记: 斯坦福大学机器学习第六课“逻辑回归(Logistic Regression)”
统计学习方法，李航著，清华大学出版社