机器学习中的算法-贝叶斯算法

原创文章,如需转载请保留出处
本博客为唐宇迪老师python数据分析与机器学习实战课程学习笔记

一.贝叶斯算法概述
1.1贝叶斯简介：

• 贝叶斯（约1701-1761）Thomas Bayes，英国数学家
• 贝叶斯方法源于他生前为了解决一个“逆概”问题写的一篇文章

1.2贝叶斯要解决的问题

• 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大
• 逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测

1.3 为什么使用贝叶斯

• 现实世界本身就是不确定的，人类的观察能力是有局限性的
• 我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测

1.4 举个例子
假设男生占60%，女生占40%。男生总是穿长裤，女生则一半穿长裤一半穿裙子

• 正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大？
• 逆向概率：迎面走来一个穿长裤的学生，你只能看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能推断出他（她）是女生的概率是多大吗？

二.贝叶斯推导实例
假设学校里面人的总数是U个
穿长裤的（男生）：U * P(Boy)* P(Pants | Boy)

• P(Boy)：是男生的概率=60%
• P(Pants | Boy)：是条件概率，即在Boy这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤
  穿长裤的（女生）：U * P(Girl)* P(Pants | Girl)

求解：穿长裤的人里面有多少女生？

• 穿长裤总数：U * P(Boy) * P(Pants | Boy) + U * P(Girl)* P(Pants | Girl)
• P(Girl | Pants) = U * P(Girl) * P(Pants | Girl) / 穿长裤总数
  U * P(Girl)* P(Pants | Girl) / [ U * P(Boy)* P(Pants | Boy) + U * P(Girl)* P(Pants | Girl)]

化简：
P(Girl | Pant