Learning Vector Quantization详解

Learning Vector Quantization详解

第十八次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。这一篇文章是原型聚类中介绍的第二个算法，主要是谈一谈“学习向量量化”（Learning Vector Quantization），以及我自己对于这种原型聚类算法的进一步构思。其他有关于原型聚类算法的讨论可以移步到该类算法的导航页《原型聚类算法综述（原型聚类算法开篇）》。

  与K-Means算法类似，学习向量量化（LVQ）的目的也是要习得可以表示数据集的一组“原型”，但是，LVQ中用到了数据集的样本标记作为监督信息，并依赖于这些信息来得到原型向量，其中每个向量代表了一个簇。使用通过LVQ得到的原型向量来代表整个簇的过程，称为“向量量化”（Vector Quantization），这种数据压缩方法属于“有损压缩”（Lossy Compression）。
  具体的LVQ算法描述如下所示：

算法第1行：根据样本集$D$的原始类别标记，分别从类别标记为 { t 1 , t 2 , . . . , t q } \{t_1,t_2,...,t_q\} { t1​,t2​,...,tq​}的样本子集中随机选取一个样本点作为该类样本的原型向量，最终得到原型向量集合 { p 1 , p 2 , . . . , p q } \{\mathbf{p}_1,\mathbf{p}_2,...,\mathbf{p}_q\} { p1​,p2​,...,pq​}；
算法第2-5行：从样本集中随机选取一个样本${\mathbf{x}}_j$，计算该样本与每个原型向量${\mathbf{p}}_i$之间的欧式距离，并找到与该样本距离最近的原型向量${\mathbf{p}}_{i^{\ast }}$的类别标记$t_{i^{\ast }}$；
算法第6-11行：根据$t_{i^{\ast }}$与样本${\mathbf{x}}_j$类别标记$y_j$的异同，对 p i ∗ \mathbf{p}_{i^*}