卷积神经网络新姿势（1）——CosineConv2D（余弦卷积）

最近在逛arxiv的时候，突然发现很多CNN领域的新秀，这里给大家分享一个卷积过程的小鲜肉——CosineConv2D，虽然距离论文发表已经一年多了，但是这绝对是个好东西，并且在将来在某些方面应该是慢慢把常规卷积模块给替代掉的。

先放论文地址：https://arxiv.org/pdf/1702.05870.pdf

这篇论文讲个什么呢？咱们先画重点。

 

我们常规的卷积过程，就是x矩阵跟w矩阵的一个卷积过程，说白了就是相应位置的点乘，然后求和。

在他看来，点乘的结果是“无界”的，会造成非常大的“协变量跃迁”，而cosine norm能够很大程度减小这种现象。

常规的卷积输出就是等于WX，而论文作者提出的新卷积方式是output = w·x  / (|W|*|X|) = cosθ，w是权重参数的矩阵形式（向量形式），x是计算数据的矩阵形式（向量形式），|W|指的是权重矩