理解机器学习里的贝叶斯

贝叶斯分类器的工作原理:就是求条件概率然后比较大小：

条件概率概念：在已知b发生的情况下，a发生的概率。我们写做：p(a|b)。

例如：已知一本书有这些tag：tag1,tag2,tag3……它属于“人文”分类的概率是多少？属于“非人文”分类的概率呢？

假设p1表示在这种情况下，它属于“人文”的概率，p2表示这种情况下，它属于“非人文”的概率。

如果p1>p2，那么这本书就属于“人文”，反过来就是“非人文”。我们不考虑p1=p2的情况。

所以，问题就变成了，如何通过tag1,tag2,tag3…来计算p1和p2？

知一本书有这些tag：tag1,tag2,tag3……它属于“人文”分类的概率表示为p(type1|tag：tag1,tag2,tag3...),

类似的 属于“非人文”分类的概率表示为p(type2|tag：tag1,tag2,tag3...）,利用贝叶斯公式：

P(A|B)P(B)=P(B|A)P(A),可以得到p(type1|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type1)* p(type1)/ p(tag1,tag2,tag3...)，

p(type2|tag1,tag2,tag3...) = p(tag1,tag2,tag3...|type2)* p(type2)/ p(tag1,tag2,tag3...)，

所以只需要得到p(tag1,tag2,tag3...|type1)，p(type1)， p(tag1,tag2,tag3...) 的值就可以得到p(type1|tag1,tag2,tag3...)

但做为分类器的大小比较，我们发现不需要全部得到值就可以比较大小，因为分母都是p(tag1,tag2,tag3...)，所以我们只需要得到

p(tag1,tag2,tag3...|type1)* p(type1)和p(tag1,tag2,tag3...|type2)* p(type2)的大小来比较即可；

对于p(type1)的计算就是在整个训练数据中出现的type1类书籍出现的概率；p(type2）同理；简单；

对于计算 p(tag1,tag2,tag3...|type1)，我们用到的是朴素贝叶斯，也就是说tag1和tag2和tag3等每个tag出现的概率是不互相影响的是

独立的；所以p(tag1,tag2,tag3...|type1)=p(tag1|type1)*p(tag2|type1)*p(tag3|type1)*p(...|type1),也就是说，我们可以计算每一个

tag，在type1书籍的所有tag中出现的概率，然后将它们乘起来，就得到我们想要的p(tag1,tag2,tag3...|type1)；

 

转载于:https://www.cnblogs.com/hongpingyang/p/7262962.html