（笔记）学习向量量化

学习向量量化算法LVQ是一类用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络聚类算法。其算法中，对最近的原型向量的选取是通过计算输出样本和原型向量之间的欧氏距离键的大小来判断的。其突出优点是具有自适应性，可以通过在线学习的方式获得训练样本的码本。

1.分类、聚类、有监督和无监督学习：

1.1有监督学习和无监督学习的区别在于输入数据是否有标签

1.2分类中类别是已知的，通过对已知分类的数据进行训练和学习，找到这些不同类的特征，再对未分类的的数据进行分类，过程中设计到打标签的概念所以分类属于有监督学习。、

1.3聚类与分类不同，聚类事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。它不需要对数据进行训练和学习，按照一个特定的标准，将数据集分成一块一块的，其不涉及到标签，所以为无监督学习。

一、学习向量量化主体内容

1.K-means算法

K-means是一个简单的聚类算法，把n个对象根据他们的属性分为k个分割(k<n)。算法的核心就是要优化真函数J,是其收敛到局部最小，但不是全局最小值。

1.1局部最优与全局最优：

 局部最小值和全局最小值的区别

1.2K-menas算法执行流程

一句话简单概括就是“人以群分，物以类聚”。

第一步：首先决定一个k的值，即我们希望通过类聚得到k个分组。

第二步：从数据集中随机选取k个数据点作为初始老大（质心）：

第三步：对于集合中每一个小弟，分别计算每位大哥间的距离，距离哪个老大近，就跟随哪位老大。

第四步：每位大哥的手底下都聚集了一帮小弟，形成一个小团体，每个小团体再通过距离计算，选出新的老大

第五步：如果新任老大与旧任老大之间的距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于收敛），算法可以终止。

第六步:如果新任老大与旧任老大之间的距离很大，则需要迭代步骤第三步到第五步，知道达到我们的期望为止。

2.LQV算法:LQV算法和K-means算法很类似，都是同为聚类算法，但是不同的是LQV算法是有监督学习，通过预设标签来监督这些信息辅助聚类。

其核心思想是：是通过找到一组原型向量来表示聚类的中心，它是给信息提前打好标签，然后以此来辅助聚类。