Armadillo 线性代数库中的聚类算法避坑

    1、本文的由来

         最近由于需要在C++语言编写的项目中使用高斯混合模型聚类算法，最开始是打算自己写一个的（参考的是《机器学习》，周志华著这本书），但是最后发现自己写的算法运行效率低，而且对于维度比较高的样本集（样本维度超过5），会出现聚类失败的情况。原因是高维度的聚类计算过程中会出现浮点溢出的问题，计算过程浮点溢出是高斯混合模型的天然缺陷。因为公式中存在大量的乘法和指数运算，这些运算会使得数据被迅速放大或者缩小，很快就会达到现在计算机提供的数据类型所能表达的数据极限，从而造成数据溢出。下面给出高斯模型的公式：

 这是单个高斯模型公式，高斯混合模型则是多个这样的公式相加在一起形成，相加的时候每个高斯模型前面还会有一个权重系数，高斯混合模型公式如下：

 表示高斯模型的数量，在聚类中表示分类数，表示第g个高斯模型的权重系数。有的朋友可能会问为啥相加时前面要加一个权重系数呢，对于这个问题我也纳闷过，这个大概要搞数学的人才能给出完美的解析。但是如果对非线性曲线拟合或者线性曲线拟合有了解的话，其实你会发现高斯混合模型算法就是高级复杂一些的非线性拟合，和其他拟合一样都是尝试通过已知的样本，去预估混合模型中的各个参数的最优值。只是这里求最优解的方程变成了似然函数（对数似然函数），用的方法也不是最小二乘法、梯度下降这类的，而是EM算法。和其他拟合一样，当你给一个样本集选择一个拟合模型（函数模型）的时候，也就默认了样本集合是可以被这个函数模型所表达出来的。这里也一样，当你选择了高斯混合模型来聚类一个样本集的时候，你就默认了高斯混合模型是可以正确表达你的样本集合的，但是问题就出在这里了，我们怎么确定对于给定的样本集合高斯混合模型是可以正确对他进行表达的呢，没有人能告诉你答案，而且高斯混合模型大部分时候也不能100%正确的对给定的样本集合进行表达，特别是样本量很大且维度很高的时候，我们能做的只是让高斯混合模型尽可能准确地表达给定的样本集合。也就是说高斯混合模型的应用过程中会出现各种各样的不确定性（模型是否适合样本集？），那么给每个高斯模型加上一个权重系数对不确定因素进行表达，拟合出来的模型或许会更符合样本集的实际情况。以上是本人对权重系数的理解，可能不正确。如果没看明白这一段也没有关系，