最近在逛arxiv的时候,突然发现很多CNN领域的新秀,这里给大家分享一个卷积过程的小鲜肉——CosineConv2D,虽然距离论文发表已经一年多了,但是这绝对是个好东西,并且在将来在某些方面应该是慢慢把常规卷积模块给替代掉的。
先放论文地址:https://arxiv.org/pdf/1702.05870.pdf
这篇论文讲个什么呢?咱们先画重点。
我们常规的卷积过程,就是x矩阵跟w矩阵的一个卷积过程,说白了就是相应位置的点乘,然后求和。
在他看来,点乘的结果是“无界”的,会造成非常大的“协变量跃迁”,而cosine norm能够很大程度减小这种现象。
常规的卷积输出就是等于WX,而论文作者提出的新卷积方式是output = w·x / (|W|*|X|) = cosθ,w是权重参数的矩阵形式(向量形式),x是计算数据的矩阵形式(向量形式),|W|指的是权重矩