机器学习笔记--常见算法(6)--EM算法详细讲解

以下是我看了两个b站视频的学习笔记，视频讲的很详细，我整理的也就比较详细，非常容易理解。
视频连接：
https://www.bilibili.com/video/av24989947
https://www.bilibili.com/video/av25304979

首先了解下什么是混合模型：
Hard clustering:硬性聚类:数据点要么属于某类，要么不属于
Soft clustering:柔性聚类：某个数据点可以不同强弱程度地同时属于不同的聚类。比如，某个点同时有60%概率属于第一个聚类，40%概率属于第二个聚类
混合模型很好地利用了概率对数据点进行柔性的分配。
EM算法：柔性聚类，不同于kmeans聚类划分为0或1，而是给每个赋予属于某类的概率。
在高斯模型中，每个聚类都服从某个概率分布，我们要做的就是利用EM算法确定这些分布的参数。对高斯模型来说，就是计算均值和方差。多项式模型就是概率。

EM算法

让我们看一个例子。

假设现在有一些点，并且我们知道这两种数据点是来自于两个高斯模型的，一些点来自黄色模型，一些来自蓝色模型，假如我现在知道这里一共存在两个模型，并假设他们都是高斯的，这是一个一维问题，我们只需估计出平均值和方差，就能解决一维高斯分布问题。

如果我们仅有一些数据点，而这些数据点各属于哪个高斯模型我们是未知的，现在我们还能得到这两个高斯模型吗？

这就是我们在混合模型中遇到的问题。我们只有一些数据点，我们假设它们服从K个高斯分布，但我们并不知道哪一点属于哪一个模型。
在这种情况下，我们尝试将参数进行代入，这就是难点所在。
现在，加入我们恰巧得知这些高斯分布的参数，比如，告诉你蓝色模型有均值xx和方差xx，黄色模型有有均值xx和方差xx，已经得知这两个模型在哪，那么我们就能算出某个点属于这两个模型其一的概率，如某点有多大概率是属于黄色模型的，这个概率属于黄色的比较大，所以这点更可能来自黄色模型。所以，加入有人告诉你这些参数：均值是多少，方差是多少，你就能算出哪一点属于哪一个模型，而我们只需要用上Bayes法则和高斯公式就能求得。