机器学习-贝叶斯学习(BayesLernen)

大纲

1.动机
2.贝叶斯理论
3.MAP-/ML假设
4.优化的贝叶斯分类器
5.幼稚的贝叶斯分类器
6.例子
7.贝叶斯网络
8.EM算法
9.总结

动机

什么是贝叶斯学习

他是一种统计学习方法，他具有以下的特点：
1.结合已有的信息(前验概率)和观察到的信息
2.通过贝叶斯可以获得对应观察的假设，以及这个假设成立对应的概率
(Hypothesen können mit einer Wahrscheinlichkeit angegeben werden)
3.每个例子都可以提高或者降低一个存在的例子的可靠性(无一例外)
(Jedes Beispiel kann die Glaubwürdigkeit einer bestehenden Hypothese erhöhen oder verringen:$\rightarrow$kein Ausschluss bestehender Hypothesen)
4.可以通过同时评价多个可能的假设，来获得更加精确的结果

动机

1.他是一种很好得学习方法
2.他也可以作为其他学习方法的组成部分

实际应用时可能的难点

1.需要很多初始知识(像前验概率啊什么的)
(Initiales Wissen über viele Wahrscheinlichkeiten notwendig.
Aber:oft Schätzung basierend auf Hintergrundwissen, vorhandenen Daten, etc. möglich)
2.优化的贝叶斯假设的计算量很大
(Erheblicher Rechenaufwand für optimale Bayes’sche Hypothese im allgemienen Fall
Linear mit Anzahl der möglichen Hypothesen
Aber:In speziellen Fällen deutliche Reduzierung des Rechenaufwand möglich)

贝叶斯理论

一般概率理论

$$Produktregel:P(A\land B)=P(A|B)P(B)=P(B|A)P(A)\\ Summenregel:P(A\lor B)=P(A)+P(B)-P(A\land B)$$
针对互斥的事件 $A_1,...,A_n,\sum^n_{i=1}P(A_i)=1$有：
$$P(B)=\sum^n_{i=1}P(B|A_i)P(A_i)$$

贝叶斯理论

$$P(h|D)=\frac{P(D|h)P(h)}{P(D)}$$
P(h)表示先验概率(或叫边缘概率)，他与观察无关，表示假设空间中选中假设h的概率
P(D | h)表示条件概率，指当h成立时观察到D的概率
P(D)表示观察到事件D的概率，他与假设无关。根据求和定理，他是所有P(D|h)的和
P(h|D)表示后验概率
例子：医学诊断
被略

MAP(Maximum a posteriore Hypothese)假设与ML(Maximum Likelihood)假设

目标：根据观察到的事件D，从假设空间H中选出概率最大的假设。

$$h_{MAP}=arg \underset{h \in H}{max} P(h|D)\\ =arg \underset{h \in H}{max}\frac{P(D|h)P(h)}{P(D)}\ \ \ \ Bayes\\ =arg \underset{h \in H}{max} P(D|h)P(h)\ \ \ \ P(D)=const$$
如果上式中每个假设出现的概率是相同的，那么我们就得到了相应的ML假设：
$$h_{ML}=arg \underset{h_i \in H}{max}P(D|h_i)$$
例子：医学诊断
已知关于癌症的知识有：
$$P(Krebs)=0.008\ \ \ \ P(\lnot Krebs)=0.992\\ P(+|Krebs)=0.98\ \ \ \ P(-|Krebs)=0.02\\ P(+|\lnot Krebs)=0.03\ \ \ \ P(-|\lnot Krebs)=0.97$$
根据MAP： $h_{MAP}=\underset{h \in H}{arg max} P(D|h)P(h)$对于一个检验报告为+的新的病人我们可以得到下面的结果：
$$P(+|Krebs)P(Krebs)=0.0078\\ P(-|Krebs)P(Krebs)=0.0298$$
可以看出整个假设空间一共有两个假设，分别是1.患有癌症 2.没有癌症。根据MAP假设二是我们要得结果。（好吧，原来检测结构为正，也不能说明得了癌症的啊）

学习方法

暴力美学

1.计算每一个假设的后验概率
2.选出其中使后验概率最大的那个假设
//这就是计算而已啊，为什么叫学习呢？？是我弄错了吗？？学习的目的就是找出最优假设

概念学习(Konzeptlernen)

//这课件真得是一个人编的吗？？？
针对的问题是：
1.H是针对实例X的有限的假设空间
2.目标是找出目标假设c：$X \rightarrow${0,1}
//$X \rightarrow${0,1}表示理解不能，不应该是映射到D的吗？？？？因为是Konzept，所以对应的值域只有{0，1}，表示对应事物的存在与否。？？
3.确定的实例序列：X= <x1,...,xm> <script id="MathJax-Element-13" type="math/tex"> </script>
4.目标序列：D= <d1,...,dm> <script id="MathJax-Element-14" type="math/tex"> </script>
为了简化问题，我们进行以下假设：
1.训练数据没受到干扰，也就是说 $d_i=c(x_i)$
//训练数据不应该是X，D对吗？？为什么就是D了？？？？
2.c包含在假设空间H中
3.每个假设的先验概率相等
(Kein Grund a priori anzunehmen, dass irgendeiner Hypothese wahrscheinlicher ist als eine andere)
根据上面的问题设定，我们有：