这篇论文笔记探讨了如何通过在深度学习网络中加入聚类损失，实现K-means友好的特征空间。文章介绍了网络架构，包括对称的编码器和解码器，以及损失函数的构成，包含重构误差和聚类误差两部分。在优化过程中，先进行预训练，然后分步训练，确保聚类标识si始终保持整数。聚类损失的更新策略考虑了簇中点的数量，以平衡簇中心的更新速度。
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering
论文链接
零碎知识
- 因为在数据的隐层表达学习过程中没有一个明确的聚类促进目标，所以训练出来的结果可能时好时坏。
网络架构
整体和普通的autoencoder一样，只不过在损失函数处增加一个聚类损失。这篇文章中的decoder和encoder是完全对称的。
损失函数
x i x_i xi是数据的原始表达， f ( x ) f(x) f(x)是encoder部分的映射， g ( x ) g(x) g(x)是decoder部分的映射， l l l是诸如互信息、均方误差的损失函数（论文中是均方误差）。所以式子前部分就是autoencoder部分中的重构误差。
式子后半部分 M M
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
