OS-CNN(ICLR2022)文章精度及相关实验总结。

本文链接：https://blog.csdn.net/qq_45045249/article/details/135641801

文章目录

论文精读

论文精读

本文会对ICLR2022会议论文OMNI-SCALE CNNS: A SIMPLE AND EFFECTIVE KER-NEL SIZE CONFIGURATION FOR TIME SERIES CLASSIFI-CATION（论文链接）从自身主观角度进行解读，很多内容都属于是自身主观见解，如有不当之处，望各位看官老爷见谅，如有闲暇，也请拨冗指正。

本文以笔者自身角度出发，分析论文的观点，提取出其中精粹，并按以下几个部分进行分析：论文的创新点及创新依据，论文的主要内容，个人的见解及有关实验结论。

论文的创新点及创新依据

对于时序序列模型而言，长感受野模型就意味着模型所能关注到的信号的特征更多。一般来说，使用注意力模型就能使模型注意到全端数据上的特点，但这样做会有缺点：注意力模型需要大批量的时序数据，而时序数据都是人为处理的方式是产生的，其次，注意力模型在大批量数据上对模型的参数量的要求也很高，这些需要大量的生产资料支持，而且，时序数据突出特点就是局部性明显。所以，对于时序数据而言，1维卷积神经网络不仅适用于小批量的数据，更能关注到局部特征，但模型会存在一些缺点，就是对于较长序列特征会很难学习到。因此，专注于模型的感受野研究是一件很有意义的事。
而该论文不仅进行了大量的实验，验证了以下两点：1. 在相同卷积核数目的情况下，模型的表现仅与模型感受野的大小有关，而与各卷积核参数大小关系不大。2. 对于1维卷积神经网络而言，模型的表现往往取决于其能达到的最大感受野的大小。分别如下图左右所示。
根据上述的研究，利用哥德巴赫猜想中任意两个不小于3的素数之和为偶数的特点，设计了一个能覆盖所有整数感受野的三层1维卷据神经网络构成的卷积块。

在这里插入图片描述

论文的主要内容

个人觉得，读一篇论文，要从论文问题的提出，问题的解决，以及问题的结论出发，下面我也会从动机和方法两部分简单聊一聊这篇论文的问题的提出和解决方法。

动机

如何设计模型，使模型的感受野能够适配任务的需要，是深度学习中一个非常重要的问题。而对于时序序列数据而言，模型的感受野，即模型所感受到的特征的长度往往会影响模型最终的表现。所以，这篇论文的作者从1维空洞卷积网络出发，在不同的时序数据集，如UEA，UCA，以及他们私有的MEG数据集上测试不同感受野对分类模型性能的影响，从而得到感受野是影响模型的关键，不同模型的表现性能的差异往往取决于模型最大的感受野的大小。 因此，文章提出了一种基于哥德巴赫猜想的可实现任意大小感受野的1维卷积块。具体如下文所提到的。

方法

对于任意一个三层1维卷积网络的卷积块，其感受野的大小为：
在这里插入图片描述
其中， $p^{(i)}$ 表示第 $i$ 层卷积核的大小，且为素数。 $S$ 表示卷积块的感受野大小。

那么，根据哥德巴赫猜想中任意两个大于2的素数之和为偶数的性质，一定会有 $p^{(1)}+p^{(2)}=e$ ， $e$ 是一个偶数，因此，感受野即变为
在这里插入图片描述
而 $p^{(3)}-2$ 既是一个奇数，又可以是一个偶数，因此，感受野 $S$ 的大小既可以是奇数，也可以是偶数，即可是全体正整数 $N^{+}$ 。