机器学习算法基础-打卡-day2

注意！！！！ 本文没有代码！ 想看代码实现的请前往下方地址
https://github.com/datawhalechina/team-learning/blob/master/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%E7%AE%97%E6%B3%95%E5%9F%BA%E7%A1%80/Task2%20bayes_plus.ipynb

作为一个程序苦手，我依旧是从理论角度来学习。

一、贝叶斯是什么？

https://www.cnblogs.com/chenqionghe/p/12598786.html
下方内容多来自上方连接的内容

用概率量化问题是贝叶斯的前提。 常规上的概率表述的是一件事发生的频率， 这个频率就代表某件事发生的可能大小。 这叫做客观概率。贝叶斯认为概率是人的一个主观概念， 表明我们对某个事物是否发生的相信程度。即当你不能准确知悉一个事物的本质时，通过与事物特定本质相关的事件出现的多少去判断其本质属性的概率。 如一个归还手机给失主的人极有可能是个好人。
贝叶斯法则
通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的。
贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。
介绍几个概念：

1.联合概率、条件概率和边缘概率

https://zhuanlan.zhihu.com/p/53005534
P(A|B)是在B发生的情况下A发生的可能性。
Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。
Pr(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
Pr(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
Pr(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）。

2.Bayes法则可表述为：

后验概率 = (似然度 * 先验概率)/标准化常量　也就是说，后验概率与先验概率和似然度的乘积成正比。
另外，比例Pr(B|A)/Pr(B)也有时被称作标准似然度（standardised likelihood），Bayes法则可表述为：
后验概率 = 标准似然度 * 先验概率。

3.机器学习中的贝叶斯公式

参考链接 ：
https://mp.weixin.qq.com/s?src=3&timestamp=1587626374&ver=1&signature=YotwepDbE-XaBt8YS4POdXVn73SqsKbWPxDUqLlMC4ESQFkQHIKqqjldpFyGLWIwLGZJgIQnj9aPysddnfM8Wm-d044PImskdyJbqwmSpi0gr0Yk8UbN8uvphNGn49sZrA6ENq57AvmNa3TYXYwgInXmrhsqGlj2VHfKU=

机器学习息息相关的贝叶斯公式为

其中假想 (hypothesis) 也可称为模型 (model)，或监督学习里面的标记 (label)，而数据 (data) 也可称为信息 (information)，是监督学习里面的特征 (feature)。
P(假想) 是假想的先验概率 (prior probability), 可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出
P(数据|假想) 是给定假想后数据的可能性 (likelihood) 或条件概率，一般是通过历史数据统计得到，或者人为主观给出
P(假想|数据) 是假想的后验概率 (posteriori probability)，是需要求的目标
P(数据) 是数据的先验概率，如果仅仅是通过后验概率大小来分类那么都不用计算它，只有在算出后验概率具体数值时才需要计算它

再进一步将贝叶斯公式变形可得

这就是贝叶斯推断的含义。我们先预估一个“先验概率”，然后加入实验结果，看这个实验到底是增强还是削弱了“先验概率”，由此得到更接近事实的"后验概率"。在这里，如果“调整因子” P(数据|假想) / P(数据)

大于 1，意味着"先验概率"被增强，假想发生的可能性变大
等于 1，意味着数据无助于判断假想的可能性
小于 1，意味着"先验概率"被削弱，假想发生的可能性变小

贝叶斯公式其实就是告诉我们，怎样根据观察到的数据来更新我们的先验概率，从而获得对假说的新看法– 后验概率。

二、朴素贝叶斯分类

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。
朴素贝叶斯的思想基础是这样的：对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。通俗来说，就好比这么个道理，你在街上看到有人吃羊肉泡馍，猜测这个人的家乡，我们多半会猜他是西北人甚至是西安人。为什么呢？因为羊肉泡馍是西北特色美食。但在没有其它可用信息下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。
朴素贝叶斯算法Naive Bayes定义中有两个关键定义:特征之间强假设独立和贝叶斯定理。
前面我们了解了贝叶斯定理，下面我们来了解一下特征之间强假设独立。

1.条件独立性假设

如果P(A,B|Z)=P(A|Z)P(B|Z)，或等价的P(A|B,Z）=P(X|Z），则称事件A,B对于给定事件Z是条件独立的，也就是说，当Z发生时，A发生与否与B发生与否是无关的。
https://mp.weixin.qq.com/s?src=3&timestamp=1587626374&ver=1&signature=wIOst3f1PiZhG8igzlTmxhrJhZLHx5WG3ydQ7QH6uHz6gLDAkbRJjfJ6ERcjzYfcB00dc2Flx27S9rFsjpX1x6PPe3NUbP2Foz1ZY65ldEBP5RjqNJOACE46FUjSkfo11UJTy7E7BexW-CD6poq9Y8-xOiEpRe*CcrTRHg-xs=
下方内容主要参考的是上方的连接

2.朴素贝叶斯分类定义

1、设x={a_1,a_2,…,a_m}为一个待分类项，而每个a为x的一个特征属性。
2、有类别集合C={y_1,y_2,…,y_n}。
3、计算P(y_1|x),P(y_2|x),…,P(y_n|x)。
4、如果P(y_k|x)=max{P(y_1|x),P(y_2|x),…,P(y_n|x)}，则x \in y_k。
那么现在的关键就是如何计算第3步中的各个条件概率。我们可以这么做：
1、找到一个已知分类的待分类项集合，这个集合叫做训练样本集。
2、统计得到在各类别下各个特征属性的条件概率估计。即P(a_1|y_1),P(a_2|y_1),…,P(a_m|y_1);P(a_1|y_2),P(a_2|y_2),…,P(a_m|y_2);…;P(a_1|y_n),P(a_2|y_n),…,P(a_m|y_n)。
3、如果各个特征属性是条件独立的，则根据贝叶斯定理有如下推导：
P(y_i|x)=\frac{P(x|y_i)P(y_i)}{P(x)}
因为分母对于所有类别为常数，因为我们只要将分子最大化皆可。又因为各特征属性是条件独立的，所以有：

整个朴素贝叶斯分类分为三个阶段：
第一阶段——准备工作阶段，这个阶段的任务是为朴素贝叶斯分类做必要的准备，主要工作是根据具体情况确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本集合。这一阶段的输入是所有待分类数据，输出是特征属性和训练样本。这一阶段是整个朴素贝叶斯分类中唯一需要人工完成的阶段，其质量对整个过程将有重要影响，分类器的质量很大程度上由特征属性、特征属性划分及训练样本质量决定。
第二阶段——分类器训练阶段，这个阶段的任务就是生成分类器，主要工作是计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计，并将结果记录。其输入是特征属性和训练样本，输出是分类器。这一阶段是机械性阶段，根据前面讨论的公式可以由程序自动计算完成。
第三阶段——应用阶段。这个阶段的任务是使用分类器对待分类项进行分类，其输入是分类器和待分类项，输出是待分类项与类别的映射关系。这一阶段也是机械性阶段，由程序完成。