盒马唠机器学习之朴素贝叶斯算法

         朴素贝叶斯算法是基于贝叶斯定理和特征条件独立假设的分类法，是一种基于概率分布的分类算法。贝叶斯分类算法，通俗的来讲，在给定数据集的前提下，对于一个新样本（未分类），在数据集中找到和新样本特征相同的样本，最后根据这些样本算出每个类的概率，概率最高的类即为新样本的类。本文通过几个小栗子来介绍朴素贝叶斯算法。

贝叶斯要解决的问题：

        正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大。

        逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测。

        例子：男生总是穿长裤，女生则一半穿长裤一半穿裙子。其中男生占60%，女生占40%。

        正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？

        逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？

        假设学校里面人的总数是 U 个

        穿长裤的（男生）：U * P(Boy) * P(Pants|Boy)

            P(Boy) 是男生的概率 = 60%

            P(Pants|Boy) 是条件概率，即在 Boy 这个条件下穿长裤的概率是多大，这里是 100% ，因为所有男生都穿长裤。

        穿长裤的（女生）： U * P(Girl) * P(Pants|Girl)

        求解：穿长裤的人里面有多少女生

            穿长裤总数：U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)

            P(Girl|Pants) = U * P(Girl) * P(Pants|Girl)/（穿长裤总数）

                                 = U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)]

                                 = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]（与总人数无关）

        推出贝叶斯公式：

拼写纠正实例

        问题：若我们看到用户输入了一个不在字典中的单词，我们需要去猜测：“这个家伙到底真正想输入的单词是什么呢？”

        计算：P(我们猜测他想输入的单词 | 他实际输入的单词)

        假设：用户实际输入的单词记为 D （ D 代表 Data ，即观测数据）

        猜测1：P(h1 | D)，猜测2：P(h2 | D)，猜测3：P(h1 | D) 。。。
        统一记为：P(h | D)

        由于对于不同的具体猜测 h1 h2 h3 .. ，P(D) 都是一样的，所以在比较P(h1 | D) 和 P(h2 | D) 的时候我们可以忽略这个常数。

        对于P(h | D) = P（h，D）/ P（D），而P（h）*P（D | h）= P（h）*P（h，D）/ P（h）= P（h，D）。所以P(h | D) ∝ P(h) * P(D | h)。对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独立的可能性大小（先验概率，Prior ）”和“这个猜测生成我们观测到的数据的可能性大小。”

        因此通过P(h) * P(D | h)就推出我们猜想他输入的单词。其中P（h）为当前我文本库h这个单词出现的概率（也就是频率），P(D | h)是我h这个词打成D的概率：比如用户想输入hello，但是实际输入了 hella，它们之间的区别仅仅是最后一个字符输入错误，这个出现的概率还是挺大的吧；但是，如果用户想输入awesome， 但是实际输入成了owesomes，输错了1个字符，多添加了 1个字符，这种情况发生的概率就比上面那种小一些吧。

        其中 P(h) * P(D | h)，P(h) 是特定猜测的先验概率。比如用户输入tlp ，那到底是 top 还是 tip ？这个时候，当最大似然不能作出决定性的判断时，先验概率就可以插手进来给出指示——“既然你无法决定，那么我告诉你，一般来说 top 出现的程度要高许多，所以更可能他想打的是 top。

        模型比较理论：最大似然：最符合观测数据的（即 P(D | h) 最大的）最有优势。奥卡姆剃刀： P(h) 较大的模型有较大的优势。

        掷一个硬币，观察到的是“正”，根据最大似然估计的精神，我们应该猜测这枚硬币掷出“正”的概率是 1，因为这个才是能最大化 P(D | h)的那个猜测。

        如果平面上有 N 个点，近似构成一条直线，但绝不精确地位于一条直线上。这时我们既可以用直线来拟合（模型1），也可以用二阶多项式（模型2）拟合，也可以用三阶多项式（模型3），特别地，用 N-1 阶多项式便能够保证肯定能完美通过 N 个数据点。

Python代码：

                        https://github.com/ChunhuiMa/Bayes

垃圾邮件过滤实例

        问题：给定一封邮件，判定它是否属于垃圾邮件D 来表示这封邮件，注意 D 由 N 个单词组成。我们用 h+ 来表示垃圾邮件，h- 表示正常邮件。

P(h+|D) = P(h+) * P(D|h+) / P(D)

P(h- |D) = P(h- ) * P(D|h- ) / P(D)

        先验概率：P(h+) 和 P(h-) 这两个先验概率都是很容易求出来的，只需要计算一个邮件库里面垃圾邮件和正常邮件的比例就行了。

        D 里面含有 N 个单词 d1, d2, d3，....，dn，得到P(D|h+) = P(d1,d2,..,dn|h+)，P(d1,d2,..,dn|h+) 就是说在垃圾邮件当中出现跟我们目前这封邮件一模一样的一封邮件的概率是多大？

        P(d1,d2,..,dn|h+) 扩展为： P(d1|h+) * P(d2|d1, h+) * P(d3|d2,d1,h+) * ..。P(d1|h+) 表示垃圾邮件有d1的概率。P(d2|d1, h+)表示垃圾邮件中有d1的条件下有d2的概率......  

         转为朴素贝叶斯模型：假设 di 与 di-1 是完全条件无关的（朴素贝叶斯假设特征之间是独立，互不影响）

        P(d1|h+) * P(d2|d1, h+) * P(d3|d2,d1, h+) * ..简化为 P(d1|h+) * P(d2|h+) * P(d3|h+) * ..

        只要统计 di 这个单词在垃圾邮件中出现的频率即可。