wangsiji_buaa的博客

人工智能,我们一起进步

《数学之美》第27章 期望最大化算法

1 文本的自收敛分类

    两种文本分类算法,即利用事先设定好的类别对新的文本进行分类,以及自底向上地将文本两两比较进行聚类的方法。这两种方法,多少都有一些局限性,比如前一种方法需要有事先设定好的类别和文本中心,后一种方法计算时间比较长。

    期望最大化算法:

        1. 随机挑选K个点,作为起始的中心。

        2. 计算所有点到这些聚类中心到距离,将这些点归到最近的一类中。

        3. 重新计算每一类的中心。

        4. 重复上述过程,直到每次新的中心和旧的中心之间的偏移非常非常小,即过程收敛。

2 期望最大化和收敛的必然性

    距离函数足够好,它能保证同一类相对距离较近,而不同类的相对距离较远。

    算法包括两个过程和一组目标函数。这两个过程是:

        1. 根据现有的聚类结果,对所有的数据重新进行划分。

        2. 根据重新划分的结果,得到新的聚类。

    EM算法是否一定能保证获得全局最优解?

        如果我们优化的目标函数是一个图凸函数,那么一定能保证得到全局最优解。

        但是,对应的很多情况,包括文本分类中的余弦距离都不保证是凸函数,因此有可能EM算法给出的是局部最佳解而非全局最佳解。

    EM算法只需要有一些训练数据,定义一个最大化函数,剩下的事情就交给计算机了。经过若干次迭代,我们需要的模型就训练好了。这实在是太美妙了,这也许是造物主刻意安排的。所以称作“上帝的算法”。

阅读更多
个人分类: 数学之美
想对作者说点什么? 我来说一句

数学之美 真正的第二版

2017年07月26日 49.41MB 下载

没有更多推荐了,返回首页

不良信息举报

《数学之美》第27章 期望最大化算法

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭