6.3期望最大法

• Gaussian Mixture(另外一种聚类：基于模型的聚类)

  

  

  • 解释
    • 不直接返回每个点属于哪个簇，而是建模：使用模型逼近数据（分布），比如高斯模型，其实是一种概率密度估计
    • 为什么这么做：有了模型就可以从模型中生成新的样本，而且新的样本与原来的样本分布、模式各方面基本一致
    • 高斯混合模型：只用一个高斯不能够很好的逼近数据分布，所以用很多高斯
    • 阿尔法：权重，其求和为1
  • 注意
    • 高斯的个数与峰值的个数不一样：当两个高斯离得很近的时候，会多出一个峰
• Clustering by Mixture Model

  

  • 开始时红色，迭代后变为绿色：这种机器学习（参数学习）使得学习后的圈大小、方向与原数据更加吻合
  • 常用算法：EM算法，期望最大化算法
• K-Means Revisited

  

  • 解释
    • 模型参数（model parameters）
      • 对于K-Means来说，我们希望得到的就是两个簇的中心点坐标（x1, y1），（x2, y2）
      • 需要，但是求解有困难
    • 隐含参数(latent parameters)
      • 曲线救国，新增参数Z表示每一个样本点到底属于哪个簇
      • 不需要，但是可以帮助我们求模型参数
    • 思路方法（知道一个就都知道，都不知道则都不知道）
      • 知道Z，则求均值可得到（x1, y1），（x2, y2）
      • 知道（x1, y1），（x2, y2），则求某点与这两点的距离，即可知道Z
• Expectation Maximization

  

  • 实验：抛A、B两枚不均匀的硬币：H-head-正面；T-tail-尾巴
  • 方法1:

    

    • Maximum likelihood(最大似然估计方法)
      • 记录每一次实验数据
  • 方法2:

    

    • Expectation maximization
      • 只知道每次抛硬币是T还是H，不知道拿的是A硬币还是B硬币
      • 先随便设置一个θA、θB（θA、θB为A、B硬币投掷时T向上的概率）
      • 根据实验结果分别反推A、B硬币的T、H概率（利用贝叶斯公式）
      • 经过一轮实验更新θA、θB
      • 迭代直到结果大致不变
      • 缺点
        • 不能保证全局最优，他也是类似于梯度下降的一种方法，最终的收敛结果与初始值设定有关
• EM：Gaussian Mixture(把EM思想应用在高斯上)
  • 解释
    • 一维高斯，且方差固定，只有两个参数需要求：高斯均值、高斯权重
      • 先猜测并设置好高斯均值、高斯权重
      • Zij：第i个样本是从第j个高斯中生成的
      • Zij的期望：E|Zij|表示某一个样本点i是第j个高斯生成的概率是多少
      • 对所有样本加权，即可算出每一个高斯的均值