机器学习 day04(一)

朴素贝叶斯原理

一些简单的数学原理

一、条件概率

有两个相互独立的事件A和B，在B事件已经发生基础上A事件发生，我们就称B事件为条件，这个概率记为P(A|B)

有两个容器M和N
已知：
M中有 红球R 7 个 白球W 3个
N中有 红球R 9个 白球W 1个

如果从M容器中取球
取到红球，为事件P(R|M) = 7/10
取到白球，概率为P(W|M)=3/10

如果从N容器取球
取到红球，概率为P(R|N) = 9/10
取到白球，概率为P(W|N) = 1/10

随机取球，取到了一个球，这个球是红球概率P®=4/5 这个球是白球的概率为P(W)=1/5

随机取球，取到了一个球，这个球是红球并且来自于M容器 P(RM) = 7/20

求选定取球的时候选择M容器的概率P(M)是多少?

条件概率公式：
P(M) = P(RM)/P(R|M) = 1/2
P(RM) = P(M)P(R|M) = P®P(M|R)

条件概率和独立事件同时发生的概率的区别：
独立事件同时发生，讲究同时，事件发生没有先后顺序，例如：没有指定容器的时候取球
条件概率，两个事件的发生有先后顺序，条件先发生，然后后面事情在发生，注意不是所有的条件都可以先发生（即不是所有的事件都可以做条件的，例如：上面的颜色就不能做条件）

条件概率公式：
两个相互独立事件A和B，如果A、B都可以先发生，则A、B都可以作为条件
P(AB) = P(B)P(A|B) = P(A)P(B|A)
P(A|B) = P(AB)/P(B)

二、全概率公式

波波买了一个电动车，放在地铁站；现在地铁站附近有三个贼A1、A2、A3都想作案。
丢电动车记为事件B
已知：三个贼作案概率为P(A1)、P(A2)、P(A3)
三个如果作案，偷电动车的概率：P(B|A1)、P(B|A2)、P(B|A3)

推测：今天晚上波波下班回家把电动车放在了地铁站，求该电动车被偷的概率
P(B) = P(A1B) + P(A2B) + P(A3B)
此时P(A1B)、P(A2B)、P(A3B)都是未知数据，通过条件概率可得
P(A1B) = P(A1)P(B|A1)
P(A2B) = P(A2)P(B|A2)
P(A2B) = P(A2)P(B|A2)
带入得到：
P(B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)这个公式就是全概率公式

全概率公式：公式左边还未来得及方式的事件是结果，公式右边导致这个结果因素，全概率公式表达的就是由引导某件事情发生的因素来推导这件事情发生的概率（事情还未发生），即由因溯果

三、贝叶斯公式

波波买了一个电动车，放在地铁站；现在地铁站附近有三个贼A1、A2、A3都想作案。
丢电动车记为事件B
已知：三个贼作案概率为P(A1)、P(A2)、P(A3)
三个如果作案，偷电动车的概率：P(B|A1)、P(B|A2)、P(B|A3)

波波的电动车昨天晚上丢了：推测谁干的？

A1偷电动车的概率：
P(A1|B) = P(A1B)/P(B)
此时P(A1B)和P(B)都是未知
将条件概率反过来表示P(A1B) = P(A1|B)P(B) = P(B|A1)P(A1)
P(B) = P(A1B)+P(A2B) + P(A3B) = P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)
将P(A1B)和P(B)带入，可以得到：
P(A1|B) = P(B|A1)P(A1)/[P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)]
A2偷的电动车概率：
P(A2|B) = P(B|A2)P(A2)/[P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)]
A3偷的电动车概率：
P(A3|B) = P(B|A3)P(A3)/[P(A1)P(B|A1) + P(A2)P(B|A2) + P(A3)P(B|A3)]

接下来我们比较P(A1|B)、P(A2|B)和P(A3|B)中谁最大？就可以判定偷电动车的就是谁。

贝叶斯公式：左边导致事件发生的某个因素，右边是导致事件发生所有因素；一件事情已经发生了，我们由导致这件事情发生所有因素，来推导那个因素的可能性最大。

四、贝叶斯分类器模型

案例：
标签：Y 代表:是否去自习室 取值有: 是和否
特征：X1 代表：是否有主修课 取值有：是和否
X2代表：天气 取值有：sunny、cloud和rain
X3代表：周几 取值：Mo、Tu、We、Th、Fr、Sa、Su
X4代表：气氛 取值：A+、A、B+、B、C

推测：如果妹子去上自习，这些特征的那些取值导致的概率最大？
P(X1=否,X2=sunny,X3=Sa,X4=A+|Y)
由于X1，X2,X3,X4都是相互独立的，那么可以有如下转化：
P(X1=否,X2=sunny,X3=Sa,X4=A+|Y) = P(X1=否|Y)P(X2=sunny|Y)P(X3=Sa|Y)P(X4=A+|Y)
分别求贝叶斯概率：
P(X1=否|Y) = P(X1=否,Y)/P(Y) = P(Y|X1=否)/[P(Y|X1=否)+P(Y|X1=是)]
P(X2=sunny|Y) = P(Y|X2=sunny)/[P(Y|X2=sunny)+P(Y|X2=cloud)+P(Y|X2=rain)]
P(Y|X3=sunny) = P(Y|X3=Sa)/[P(Y|X3=Mo)+…+P(Y|X3=Su)]
P(X4=A+|Y) = P(Y|X4=A+)/[P(Y|X4=A+)+…+P(Y|X4=C)]
以上等式右边都是已知，左边都是Y已经发生每个特征当前取值的概率
P(X1=否,X2=sunny,X3=Sa,X4=A+|Y) = {P(Y|X1=否)/[P(Y|X1=否)+P(Y|X1=是)]}{P(Y|X2=sunny)/[P(Y|X2=sunny)+P(Y|X2=cloud)+P(Y|X2=rain)]}{P(Y|X3=Sa)/[P(Y|X3=Mo)+…+P(Y|X3=Su)]}*{P(Y|X3=Sa)/[P(Y|X3=Mo)+…+P(Y|X3=Su)]}

同理求其他概率：
P(X1=是,X2=sunny,X3=Sa,X4=A+|Y) = ？
P(X1=否,X2=rain,X3=Sa,X4=A+|Y) = ?
…
总共需要求237*5 = 210个概率，从这210个概率中选最大的那个，即是约会成功的最优条件