LogisticRegression 原理学习与理解

最近在实习的时候小组组织了一个机器学习的讲座，说来也很惭愧，作为一个专业为模式识别的研究生，除了调调库，调调参，还真的没有认认真真的深入去研究过机器学习的算法原理。所以趁着这一次的作业机会，好好地推导理解了一下LogisticRegression的原理。

贝叶斯决策与最大似然估计

logistic回归是一种广义线性模型，这类模型因为因变量的不同定义的名称也不一样，如果是连续的，就是多重线性回归，如果是二项分布，就是logistic回归，其他的还有诸如passion回归，负二项回归等等之类。

logistic回归的因变量可以是二分非线性差分方程类的，也可以是多分类的，但是通常在实际当中二分类用的比较多，也可能是因为形式比较简单，容易理解吧。
为了说明清楚logistic回归的原理，我们先从一个简单的小例子说起来引入极大似然估计，当然这个例子也是看的网上一个博客的。

原文地址：深入浅出最大似然估计（Maximum Likelihood Estimation）

问题是这样的：在一个袋子里面装着白色和红色两种颜色的球，从袋子里面每次取出一个球然后放回去，这样重复取出10次之后得到的结果是白色球出现了7次，红色球出现了3次。问：随机取出一个球是白色球的概率为多少？

这个问题一看很简单嘛，由样本估计总体，所以白色球的概率为

$$p(w) = 7 / (7 + 3) = 0.7$$

的确这个计算结果是正确的，但是它是基于样本对于总体的一个估计得出的，我们有没有办法用理论的方法来显式的表达出同样的结果呢？当然是可以的。这就是极大似然估计（Maximum likelihood estimation, 简称MLE）提出的意义所在了。

极大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。直观的意思就是说通过已知的样本来得出与已有的样本最相似的模型。具体是什么意思呢，先从贝叶斯分类器说起更加好理解。

贝叶斯决策

经典的贝叶斯公式为

$$p(w | x) = \frac{p(x | w) \times p(w) }{p(x)}$$

其中$p(w)$为先验概率，代表的意思是类别$w$分布的概率；$p(x | w)$ 为条件概率，表示在类别$w$中，发生事件$x$的概率；而$p(w | x)$为后验概率，代表的意思是在事件$x$发生的情况下，该事件属于类别$w$的概率。而贝叶斯分类就是在这个后验概率的概念上对样本做出的一个分类判断，当后验概率越大，说明某个事件属于这个类别的可能性越大，那么我们就越有理由将它归于这个类别下。

概率论的概念忘了？没关系，我们来看一个非常直观易懂的例子来说明整个的计算过程。已知：在一个大学当中男生戴眼镜的概率为$\frac{2}{3}$，女生戴眼镜的概率为$\frac{1}{4}$，并且该大学当中男女比例为7:3，问：若你在大学当中遇到一个戴眼镜的童鞋，请问ta为男生或者女生的概率分别为多少？

我们来看看这个问题怎么解决：
首先假设：$w_1$代表男生, $w_2$代表女生，$x$代表戴眼镜。
那么由问题当中已知的条件可以得到

$$先验概率: p(w1) = \frac{7}{10}， p (w2) = \frac{3} {10} \\ 条件概率: p(x |ｗ_1) = \frac{2}{3}, p(x|w_2) = \frac{1}{4}$$

而男生和女生戴眼镜的事件相互独立，所以可以得到

p(x)=p(x|w1)×p(w1)+p(x|w2)×p(w2)=710×23+310×14=1324(6)(7)(8) (6) p ( x ) = p ( x | w 1 ) × p ( w 1 ) + p ( x | w 2 ) × p ( w 2 ) (7) = 7 10 × 2 3 + 3