【论文阅读-NRE】Self-Supervised Representation Learning via Neighborhood-Relational Encoding

Abs：

自监督表示 NRE：neighborhood-relational encoding邻居相关编码

旧的unsupervised方法一般只注重用deep net抓取data中的重点，而忽视了他们和邻居之间的关系，这关系可以很有用。

NRE试图在流形上保持局部的邻居结构，这样会对远处的点更不敏感。

NRE实现为encoder-decoder结构，学习基于结点局部邻居的表示。

结果还行。

 

1. Intro：

目前的无监督学习大多是通过最小化重构误差（minimizing the reconstruction error）进行的。

AE的缺点：1）重建给定input的所有部分，包括那些没用的node；2）这个机制完全由单点的data决定，而忽视了同dataset中的其他data和它们之间的relation。Relation可能很重要。

Ours: NRE----自我监督，在latent space隐空间中保留一定的局部邻域结构。不过不是像以前的工作那样保留全局的结构。Encoder：用E_φ表示，对邻居关系也进行编码（和传统AE中的E对应）；Decoder：和E一起学习，用D表示。

Input X----E_φ---->隐空间R中的表示X_R----D---->重建input X'

E_φ：作为一个kernel，把原空间中的邻居结构在隐空间中也要表示出来。

普通AE的Encoder：用E表示。

NRE可以同时学习输入中的邻居结点；有效提升AE。

 

2. Related Works：

用重构方法的无监督学习应用广泛。Ours：一种结合自监督邻域训练encoder-decoder的新方法。

1）无监督or自监督的表示学习：任务：精准重建input img或重建的同时构建一些其他的数据模型如着色等；2）学习重建。

之前的方法大部分都忽略了样本之间的关系或者比较少地注意邻域。

 

3. Method：

NRE由三个部分组成：Encoder E，Decoder D&#x