EM 期望最大化算法

• EM 一种聚类算法

  1. 为每个样本随机赋予类别。
  2. 计算每个类别的分布。
  3. 根据分布重新为每个样本分配类别。
  4. 根据迭代后的样本&类别计算分布，并一直迭代下去。

 

马尔可夫分支：

1. 马尔可夫网 （判别式，无项有环图）：1）Gibbs（玻尔兹曼机） 2）CRF条件随机场 3）马尔可夫随机场

2.1 动态贝叶斯 （生成式，有向无环图）：1）卡尔曼滤波 2）HMM 隐马尔可夫 2.2 静态贝叶斯

先验估计：data-->label
后验估计:  data-->label
似然估计：label-->data

 

EM应用：

• Markov Random Field

  S,样本；w，类别

  1. 随机给一张图片每个像素指定类别(kmeans预聚类效果更好)，此时认为每个类别像素值都符合高斯分布。可以得到分布参数。
  2. P(S|W)为每个像素计算在每个类别的似然概率，同时计算8个相邻像素每个类别的占比。
  3. 每个类别得分=log(似然概率)+log(相邻像素该类别占比)，该像素归到得分最高的类别。
  4. 更新类别后的图片继续迭代第2&3个步骤。

 

EM应用：

• RANSAC 随机抽样一致 

    有噪声的拟合，离群值检测
    最小二乘由于会尽可能拟合所有点所以不适用于有噪声情况。非确定方法，效果受到迭代次数和有效点占比影响。
    1. 随机假设一组局内点为初始值，用此局内点拟合模型。
    2. 用所有点去测试模型判断误差。
    3. 符合条件的点重新成为局内点构建模型。
    4. 迭代直至局内点数量达标