kmeans的过程大家应该很清楚了,就不详细介绍了。
其是通过引入隐变量,使用EM算法求解。
1 Kmeans的收敛性:Kmeans是收敛的,但是不一定是极大值。
2 因为Kmeans是通过EM算法,迭代的方式求解的,所以每次迭代的结果可以看成是数列中一个元素,这样就可以看成是求数列的收敛性。注意区分像逻辑斯蒂回归这样的算法,其是通过拉格朗日的方法求极值,不是迭代的方法。
数列收敛:单调递增有上界则数列收敛
单调递增可以用Jesen不等式,有上界是因为最大似然的对数的上界是0
kmeans的过程大家应该很清楚了,就不详细介绍了。
其是通过引入隐变量,使用EM算法求解。
1 Kmeans的收敛性:Kmeans是收敛的,但是不一定是极大值。
2 因为Kmeans是通过EM算法,迭代的方式求解的,所以每次迭代的结果可以看成是数列中一个元素,这样就可以看成是求数列的收敛性。注意区分像逻辑斯蒂回归这样的算法,其是通过拉格朗日的方法求极值,不是迭代的方法。
数列收敛:单调递增有上界则数列收敛
单调递增可以用Jesen不等式,有上界是因为最大似然的对数的上界是0