统计学习方法——朴素贝叶斯

三扇门问题

之前在美国有一个著名的综艺节目，这个节目里有三扇关闭着的门。其中有两扇的后面是山羊，有一扇则放着一辆豪车。主持人会让嘉宾做出选择，嘉宾做出选择之后，主持人会打开其中错误的一扇门，询问嘉宾：伙计，你有一次更改选择的机会，你要使用吗？
我们从直觉来分析，我们更不更换答案应该不会影响。毕竟三扇门里有一个正确答案，主持人排除的是错误答案，也就是说正确答案就在剩下的两个门里。不管我们换不换选择，门后是大奖的概率都应该是二分之一才对。但是事实是如果不更换的话，获奖的概率是三分之一，而更换的话，获奖的概率高达三分之二。
这个答案显然和我们的直觉违背，所以，我们去探究一下其中隐藏的深层次的数学原理就很有必要了，所以说就不得不引入条件概型模型。

条件概率

P(A|B)就是在B的条件下A发生的可能，他的具体计算如下：

朴素贝叶斯的直观理解

问题：假如有一个手写数字集，其中0-9是写的数字0，10-19是1，以此类推的一百个集合，那么我写了一个数字X，我怎么确定它是哪一个呢？
贝叶斯的思想算出在数字X的条件下分别为1，2，3等的概率，然后通过最大的概率进而确定它属于数字几。

数学理解
用条件概型计算X=x的条件下，Y=等于某一个数字的概率，推导如下

后验概率最大化的含义

后验概率最大化其实就是等价于期望风险最小化
损失函数

期望风险： Rexp (f) = E[L(Y, f(X))]

也就是在x的条件下事件ck发生的概率与它的损失函数的乘积
为了使得上面的期望损失最小，那么就得要X里面包含的每一个x都得是最小的，继而
这样 ，根据期望风险最小化准则就得到了后验概率最大化准则

朴素贝叶斯法的参数估计——极大似然估计

几大估计方法：矩估计，最小二乘估计，极大似然估计。。。
极大似然估计就可以理解为概率最大化的思想，准确点就是似然函数（联合密度函数）达到最大的参数的值，也就是通过似然函数极大化实现参数估计的目的，比如说在一箱子苹果中，多次拿出都是红色的，那么我们就可以很大概率的去说这箱子苹果基本都是红色，这样的一个思想。

X是随机变量，B是参数，当它是密度函数的时候，X是未知的，B是已知的，但是作为似然函数的时候，恰恰相反，X是已知的，可以理解为数据集里的数据，参数B是未知的。
eg


以上是一种有限的集合形式，那么如果对于参数是无限的或者说是无数多个的，那么如何直接通过似然函数确定参数的最大值呢？
对每一个参数进行求偏导令为0，得到一个方程组，然后反向求出参数B，带入进行验证，有时候也通过ln方式进行验证。

什么是朴素贝叶斯算法？？？

eg

首先计算先验概率，即也就是y=1和y=-1的概率，因为的最终的可能就只能是这两种情况，所以这就是先验概率：

然后再计算条件概率：

然后计算后验概率:

贝叶斯估计

假如说我要统计大学生男女比例，然后我又恰恰随机选择到了某女子学院或者某只招男性的军校（打个比方）那这样计算出来的得出的结论就只能是全是男生或者全是女生，那这结论显然是不靠谱的，也没有参考性！！！所以说用极大似然估计可能会出现所要估计的概率值为的情况这时会影响到后验的计算结果，使分类产生偏差。解决这一问题的方法是采用贝叶斯估计，那么什么是贝叶斯估计呢？

eg：

先验概率：

条件概率：

后验概率：