本文探讨了如何将k-means聚类算法应用于深度学习中的特征学习。通过构建字典D来优化样本的码矢量表示，强调k-means在特征提取中的优势，如简单的优化过程和较少的参数需求。同时，介绍了预处理步骤，如数据归一化和白化，以及处理初始化聚类中心的方法。尽管k-means在高维数据上可能需要更多样本，但其速度和方向性边缘特征学习能力依然显著。
最近，在学习与深度学习相关的论文，看了一位大牛的论文学习笔记后，决定也把自己学习和看到的整理下来，不知道个人的理解对不对，希望发现问题的亲们能踊跃进行批评指正。
非监督学习的流程：
1.从一组无标签数据中学习特征；
2.用学习到的特征提取函数提取有标签数据特征，进行分类器的训练和学习；
3.对无标签数据进行预测；
将k-means聚类算法用来进行特征学习，也可以达到非常好的效果。
k-means构建一个字典D，通过最小化重构误差，一个样本只能属于一个类中心，每一个n维的样本通过字典D映射为k维的码矢量，这个码矢量就是样本的特征。那么k-means的目标就是寻找满足条件的字典D，这个字典的每列都是单位长度，而且对应的码矢量还要能更好的保留样本的信息。感觉k-means特征学习和sparse coding很相似，只是sparse coding允许码矢量有多个非零值，而且对样本描述更准确。那么k-means的优势在哪里哩：1、首先根据字典D优化求解码矢量很简单；2、给定码矢量优化字典D也很容易；3、只有一个参数聚类中心个数k需要调整；
在学习数据
最低0.47元/天 解锁文章
1387
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
