贝叶斯学习（二）

贝叶斯学习（二）

一：贝叶斯网络简介
贝叶斯网络（Bayesian network），又称信念网络（belief network）或是有向无环图模型（directed acyclic graphical model），是一种概率图型模型。
贝叶斯网络又称信度网络，是Bayes方法的扩展，是目前不确定知识表达和推理领域最有效的理论模型之一。从1988年由Pearl提出后，已经成为近几年来研究的热点.。一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG),由代表变量结点及连接这些结点有向边构成。
结点代表随机变量，结点间的有向边代表了结点间的互相关系(由父结点指向其子结点)，用条件概率进行表达关系强度，没有父结点的用先验概率进行信息表达。结点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种控制因素的决策，可以从不完全、不精确或不确定的知识或信息中做出推理。

二：实例：贝叶斯拼写检查

import re,collections
def words(text): return re.findall('[a-z]+', text.lower()) #去掉其他除了a到z以外的字符
def train(features):
    model = collections.defaultdict(lambda: 1)   #导入库设置默认值为1
    for f in features:
        model[f] += 1
    return model
NWORDS = train(words(open('big.txt').read()))
alphabet = 'abcdefghijklmnopqrstuvwxyz'
def edits1(word):
    n = len(word)
    return set([word[0:i]+word[i+1:] for i in range(n)] +                     # deletion
               [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] + # transposition
               [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] + # alteration
               [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])  # insertion
def known_edits2(word):
    return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)
def known(words):
    return set(w for w in words if w in NWORDS)
def correct(word):
    candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
    print(max(candidates, key=lambda w: NWORDS[w]))
correct("smil")

其中’big.txt’是语料库，大家可以在网上下载

三：EM算法的简介
最大期望算法（Expectation-Maximization algorithm, EM），或Dempster-Laird-Rubin算法，是一类通过迭代进行极大似然估计（Maximum Likelihood Estimation, MLE）的优化算法，通常作为牛顿迭代法（Newton-Raphson method）的替代用于对包含隐变量（latent variable）或缺失数据（incomplete-data）的概率模型进行参数估计。
EM算法的标准计算框架由E步（Expectation-step）和M步（Maximization step）交替组成，算法的收敛性可以确保迭代至少逼近局部极大值。EM算法是MM算法（Minorize-Maximization algorithm）的特例之一，有多个改进版本，包括使用了贝叶斯推断的EM算法、EM梯度算法、广义EM算法等。由于迭代规则容易实现并可以灵活考虑隐变量，EM算法被广泛应用于处理数据的缺测值，以及很多机器学习（machine learning）算法，包括高斯混合模型（Gaussian Mixture Model, GMM）和隐马尔可夫模型（Hidden Markov Model, HMM）的参数估计。

四、EM的通俗理解
在袋子里摸球，有两个袋子（A,B），每个袋子都只有黄，黑两色，且相同数量，每次只能摸一球，总共摸三次。
（1）通过实验得出A摸出黑色球的概率（P初（A）），得出B摸出黑色球的概率（P初（B））
（2）将A、B两个袋子的标识盖住（无法知道谁A谁B)，但实验结果保留，预测谁A谁B，得出P（A）、P（B）
（3）首先随便赋值，令摸出黑色球的概率为P（A）=0.3、P（B）=0.7
（4）分别计算不同实验结果下，A,B的概率，经过比较得出每个实验结果的A、B可能性。
（5）再次计算P估（A）、P估（B）
（6) 对比P初（A）、P（A)、P估（A），会发现P估（A）比P（A)更接近P初（A），同样B也是一样