Adaptively Connected Neural Networks论文阅读

Adaptively Connected Neural Networks

论文下载地址：https://arxiv.org/abs/1904.03579

论文代码地址：https://github.com/wanggrun/Adaptively-Connected-Neural-Networks

论文创新点：论文中提出局部信息和全局信息对于网络结构的精度影响很大，但是当前的网络结构很难同时兼顾局部信息和全局信息。论文提出了一种新的网络结构既可以像CNN一样提取局部信息，又可以像MLP一样来兼顾全局信息。同时这种网络结构还可以处理非欧几里得数据（后面会讲解什么是欧几里得数据和非欧几里得数据）。

存在的问题：

如下图所示，左图中如果网络结构只关注局部信息不关注全局信息，由于沙发和椅子的颜色是一样的就很容易造成将椅子误认为是沙发的现象。如右图所示如果网络结构只关注全局信息而不关注局部信息就很容易造成将狗识别成羊。

论文想法：

MLP网络结虽然可以关联全局信息，但是它需要将每个节点都连接在一起这样就会造成网络结构参数量过大，容易造成过拟合。CNN的话是提取局部信息，但是想要提取全局信息就需要加深网络结构，会造成计算量增加。基于MLP和CNN存在的问题，作者提出了当前的网络结构。

Adaptive-Connected Neural Networks：

 

论文的核心思想就如上图所示。x-j表示的是第j个像素点。j的取值范围主要分为三部分，第一部分是本身，第二部分是它周围的其他点，第三部分是所有可能的点。分别对应了自身变换，CNN和MLP。

这三个参数在训练过程中可以学习得到。

欧几里得数据和非欧几里得数据：

一句话概括就是规则的数据和不规则的数据。

欧几里得数据：在我们日常生活中，最常见到的媒体介质莫过于是图片(image)和视频(video)以及语音(voice)了，这些数据有一个特点就是：“排列整齐”。

非欧几里得数据：总得来说有两大类型，分别是图(Graph)数据和流形数据。这两类数据有个特点就是，排列不整齐，比较的随意。具体体现在：对于数据中的某个点，难以定义出其邻居节点出来，或者是不同节点的邻居节点的数量是不同的。