- Gaussian Mixture(另外一种聚类:基于模型的聚类)
- 解释
- 不直接返回每个点属于哪个簇,而是建模:使用模型逼近数据(分布),比如高斯模型,其实是一种概率密度估计
- 为什么这么做:有了模型就可以从模型中生成新的样本,而且新的样本与原来的样本分布、模式各方面基本一致
- 高斯混合模型:只用一个高斯不能够很好的逼近数据分布,所以用很多高斯
- 阿尔法:权重,其求和为1
- 注意
- 高斯的个数与峰值的个数不一样:当两个高斯离得很近的时候,会多出一个峰
- 解释
- Clustering by Mixture Model
- 开始时红色,迭代后变为绿色:这种机器学习(参数学习)使得学习后的圈大小、方向与原数据更加吻合
- 常用算法:EM算法,期望最大化算法
- K-Means Revisited
- 解释
- 模型参数(model parameters)
- 对于K-Means来说,我们希望得到的就是两个簇的中心点坐标(x1, y1),(x2, y2)
- 需要,但是求解有困难
- 隐含参数(latent parameters)
- 曲线救国,新增参数Z表示每一个样本点到底属于哪个簇
- 不需要,但是可以帮助我们求模型参数
- 思路方法(知道一个就都知道,都不知道则都不知道)
- 知道Z,则求均值可得到(x1, y1),(x2, y2)
- 知道(x1, y1),(x2, y2),则求某点与这两点的距离,即可知道Z
- 模型参数(model parameters)
- 解释
- Expectation Maximization
- 实验:抛A、B两枚不均匀的硬币:H-head-正面;T-tail-尾巴
- 方法1:
- Maximum likelihood(最大似然估计方法)
- 记录每一次实验数据
- Maximum likelihood(最大似然估计方法)
- 方法2:
- Expectation maximization
- 只知道每次抛硬币是T还是H,不知道拿的是A硬币还是B硬币
- 先随便设置一个θA、θB(θA、θB为A、B硬币投掷时T向上的概率)
- 根据实验结果分别反推A、B硬币的T、H概率(利用贝叶斯公式)
- 经过一轮实验更新θA、θB
- 迭代直到结果大致不变
- 缺点
- 不能保证全局最优,他也是类似于梯度下降的一种方法,最终的收敛结果与初始值设定有关
- Expectation maximization
- EM:Gaussian Mixture(把EM思想应用在高斯上)
- 解释
- 一维高斯,且方差固定,只有两个参数需要求:高斯均值、高斯权重
- 先猜测并设置好高斯均值、高斯权重
- Zij:第i个样本是从第j个高斯中生成的
- Zij的期望:E|Zij|表示某一个样本点i是第j个高斯生成的概率是多少
- 对所有样本加权,即可算出每一个高斯的均值
- 一维高斯,且方差固定,只有两个参数需要求:高斯均值、高斯权重
- 解释
6.3期望最大法
最新推荐文章于 2024-08-20 13:13:08 发布