深度学习——深度聚类 小调研

深度聚类文章集锦：https://www.ctolib.com/zhoushengisnoob-DeepClustering.html

---

先说说自己跑题的一点感想：

在查阅资料，读survey的时候会很烦躁，有种不想做的感觉。然后，就开始怀疑自我：自己到底有没有能力，是不是不适合云云......

其实，都这么多年了，对学习这件事你的内心应该更加强大才是......

现在我们就来分析一下这件事，以便以后稳定心性+提升学习效率。

• 入门一个知识内容十分丰富的领域，本来就是一件会产生些许焦虑，烦躁，惶恐的事情......
• 科研：语言不熟，文章装×，网上辅助资料少+没老师+没体系......可能你花费大量时间，最后能够积累下来的有用的知识却是微乎其微。
• 长时间低效积累+要自己探索并创造=想放弃（学走都难，还想飞？ 这给人直接的信号就是——不可能）
• 但是！！！还是那句话“这么多年了，事实你还不知道吗？”——高效学习=掌握套路+把握重点
• 要坚信：世界上所有的知识，真正掌握时一定很简单！

那么，没怎么改才能让自己下次不崩溃？

• 要承认，科研确实要具备一定素质才能做。不要老想着一蹴而就，夯实基础和锻炼能力是前期要务：

1.数学：小的，常用的知识点很多。平时攒下来，找个时间集中攻破应该很快乐。

2.代码：听代码大佬说的：代码就像cache......(你懂得)

3.文章：（套路可能已经上路了，补充一点）

               最根本的方法在一个领域里应该只有几个。看大家弄得热闹，其实就多几个小trick，填些小部件罢了。

4.英语：专业名字和用法来来去去应该就那么几个。

• 大的行事方针：

1.紧跟你的主要课题，不要老换。

2.前期还是一个文章，一个文章的积累。（但要思考自己怎么用）

3.很经典的方法一定要总结，熟练。（变成自己的思考而不是记录在案的东西）

4.概览文章，先跑代码，再细究？

 

嗯，先这些，有啥想法再说。

---

对于深度聚类一些傻里傻气的，肤浅的认识：

1.最多的就是：k-means+深度网络

2.用得很普遍：自编码器聚类

3.其他大类：（谱聚类|层次聚类|DBSCAN......)+深度网络

4.下面IIC(牛津大学) 和 CDP（商汤）比较新颖

---

想入门这个领域的“踏踏实实”的路线：

1.B站视频：（虽然四个，但是一套，可解上1,3）

https://www.bilibili.com/video/av68875578/?p=8

https://www.bilibili.com/video/av68876501?from=search&seid=8887334697187585982

https://www.bilibili.com/video/av68877650

https://www.bilibili.com/video/av68879134/?redirectFrom=h5

2.A Hybrid Autoencoder Network for Unsupervised Image Clustering应该会囊括几个自编码器的（诶，没代码，待定）

3.上面4的两篇文章可以瞄一下。

---

 

IIC:Invariant Information Clustering：牛津大学 不变信息聚类

本文特点：

• 没有强行结合传统聚类和深度网络。
• 没有PCA和白化。
• 只是稍稍改动CNN。
• 用互信息最大化目标函数+双输入（一个CNN,只是把图片平移、旋转或crop。进行两次正向传播+一次反向传播）

相关链接：

推送链接：https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247489082&idx=1&sn=7b8e9fa2ba48b0ad5816a3b4e97b897d&chksm=ec1ffbc3db6872d5a385ee980fabf784fa4c875d1beddd177ff02395837215273c3927a8b18c&mpshare=1&scene=1&srcid=10078mS2DsEEeEL0uVfQVk0B&sharer_sharetime=1570424510310&sharer_shareid=7ca0cc2a76c8b61bd0545235798d3cdb&pass_ticket=mhDgW1v0O%2FHCTLJEWsiaXl6wKv5HgEZkGzP89d3qZvKy1eC%2FELBetVaTAYxj0QXl#rd

原文链接：Invariant Information Clustering for Unsupervised Image Classification and Segmentation （https://arxiv.org/pdf/1807.06653.pdf）

代码链接：https://github.com/xu-ji/IIC

 

---

CDP:Consensus-Driven Propagation in Massive Unlabeled Data for Face Recognition(一种有监督的Metric用于人脸聚类，来部分解决无标注数据内部结构复杂、依赖特定Metric、缺乏Outlier控制，以及时间复杂度等问题)

文章解决的主要问题：

文章原理简述：

文章结果：

 

相关链接：

推送链接：https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247488887&idx=1&sn=fb5ec2c57fffee0487a500f27de80dfb&chksm=ec1ff88edb687198062303538a9d151eff5e0b5a56ab9762d1247c4cf0edab8ce50e572a8655&mpshare=1&scene=1&srcid=1007YVK7mv6idn8xYZFKDEZp&sharer_sharetime=1570424529411&sharer_shareid=7ca0cc2a76c8b61bd0545235798d3cdb&pass_ticket=mhDgW1v0O%2FHCTLJEWsiaXl6wKv5HgEZkGzP89d3qZvKy1eC%2FELBetVaTAYxj0QXl#rd

文章链接：https://arxiv.org/pdf/1809.01407.pdf

代码链接：https://github.com/XiaohangZhan/cdp

 

---

Deep Clustering for Unsupervised Learning of Visual Features

 

---

 

A Hybrid Autoencoder Network for Unsupervised Image Clustering

• 把现有的几种AutoEncoder结合了一下
• 没代码
• 可以学到聚类比较基础的入门知识（如 :评价指标，自动编码器聚类的套路等等）

---

Deep Clustering with Convolutional Autoencoders

• Keras代码
• 原来的方法没有很好地利用CNN和特征空间的数据的结构？

---

SPECTRAL  NET: SPECTRAL CLUSTERING USING DEEP NEURAL NETWORKS（耶鲁大学 谱聚类）

• 谱聚类的局限性：它的主要局限性是规范嵌入的可扩展性和泛化性。（这篇文章就是用来提升的，很玄妙）
• Tensorflow代码：https://github.com/kstant0725/SpectralNet
• 文章链接：chrome-extension://ikhdkkncnoglghljlkmcimlnlhkeamad/pdf-viewer/web/viewer.html?file=https%3A%2F%2Fopenreview.net%2Fpdf%3Fid%3DHJ_aoCyRZ

 

---

Subspace clustering using a low-rank constrained autoencoder

• 子空间聚类的一个改进
• 无代码