Task2 bayes_plus（贝叶斯）

生成模型是所有变量的全概率模型:

全概率公式:
举例：一个村子，有三个小偷，$A_1=$小张，$A_2=$小政，$A_1=$小英，两两互斥，求 P ( B ) = P { 失 窃 } P(B)=P\{失窃\} P(B)=P{失窃}

分析：给出$A_1,A_2,A_3$，若$A_1\cup A_2\cup A_3$和$A_i{A}_j=\varnothing ,i\ne j$，称作完备事件组

分成两个阶段：1.选人，2.去偷

则$P(B)=P(B\Omega )=P(B\cap (A_1\cup A_2\cup A_3))=P(B{A}_1\cup B{A}_2\cup B{A}_3)=P(B{A}_1)+P(B{A}_2)+P(B{A}_3)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)$

故 $P(B)=\sum _{i=1}^{n}P(A_i)P(B|A_i)$

判别模型是在给定观测变量值前提下目标变量条件概率模型:

$P(A_i|B)$

独立事件的解释:

独立的条件：如$A_1,A_2,A_3$

有以下条件：

1.$P(A_1{A}_2)=P(A_1)P(A_2)$

2.$P(A_1{A}_3)=P(A_1)P(A_3)$

3.$P(A_2{A}_3)=P(A_2)P(A_3)$

4.$P(A_1{A}_2{A}_3)=P(A_1)P(A_2)P(A_3)$

满足1，2，3就是两两独立，全满足就是互相独立

贝叶斯公式举例:（逆概公式）

若B发生了（执果索因），如两个箱子，一个里面只有黑球，一个里面只有白球，概率都是1/2，但是取球，取到黑球，那概率就变成了1和0，就这是贝叶斯修正

$P(A_j|B)=\frac{P(A_{j}B)}{P(B)}=\frac{P(A_j)P(B|A_j)}{\sum _{i=1}^{n}P(A_i)P(B|A_i)}$

举例：

设有甲和乙两名运动员，甲命中射击的概率为0.6，乙的威0.5，求下列概率：

1.从甲乙中任选一个人去射击，若目标命中，则是甲命中的概率是多少

2.甲乙各自独立射击，若目标命中，则是甲命中的概率是多少

1.分阶段:(1)选人：$A_{甲},A_{乙}$.(2)射击：命中=$B$

$p(A_{甲}|B)=\frac{P(A_{甲}B)}{P(B)}=\frac{P(A_{甲})P(B|A_{甲})}{P(B)}=\frac{P(A_{甲})P(B|A_{甲})}{P(A_{甲})P(B|A_{甲})+P(A_{乙})P(B|A_{乙})}=\frac{\frac{1}{2}\ast 0.6}{\frac{1}{2}\ast 0.6+\frac{1}{2}\ast 0.5}=\frac{6}{11}$

2.不分阶段

$A_{甲}=${甲命中}

$A_{乙}=${乙命中}

$B=${目标被命中}

$B=A_{甲}\cup A_{乙}$ 甲或者乙命中

$p(A_{甲}|B)=\frac{P(A_{甲}B)}{P(B)}=\frac{P(A_{甲})}{P(A_{甲})+P(A_{乙})-P(A_{甲}{A}_{乙})}$

极大似然估计：离散型和连续性，即$L(\theta )=\{\begin{array}{l}\prod _{i=1}^{n}p(X_i,\theta )\\ \prod _{i=1}^{n}f(X_i,\theta )\end{array}$，当$\theta$取多少时，概率最大

举例：运动员射箭，运动员分1和2级运动员，射箭成绩为$(10,9,10,10)$，所以我们可以推测这个是1级运动员，换句话说，在他为1级运动员时，射出$(10,9,10,10)$的成绩的概率最大，即$p(10,9,10,10|1)=\max$，就是参数为多少时，观测值出现的概率最大，$p(10,9,10,10|?)=\max$，$?$处就是我们要算的$\theta$.

计算步骤: 一般取对数，令$\frac{d\log L(\theta )}{d\theta }=0$，得出$\hat{\theta }$，此处$\log$就是$\ln$，取对数为什么可以求出$\hat{\theta }$，是因为对数函数严格单调增；也可以不取对数，直接求导；如果$L(\theta )$关于$\theta$单调，直接定义法，取两端，一般是样本的$\max$或者$min$。Notice：对于连续性的，要根据分布函数先求出概率密度，$X$ ~ $F(x,\theta )$求导得$X$ ~ $f(x,\theta )$