Is Second-order Information Helpful for Large-scale Visual Recognition?
这篇文章指出,目前state of art都在探寻又深又宽的网络结构,鲜少探究feature分布的信息,对feature做pooling等等只是对于一阶信息的处理,它往往快速有效,但对于所有情况并不适用。比如我们的有些选择需要方差小的样本,但是一阶信息并不能给出而feature的分布信息,所以这里需要二阶信息。
这里主要有三点贡献:
- 第一批尝试利用高于一阶的统计量来改进大规模分类的人。提出了一种矩阵幂归一化协方差法,给出了非线性矩阵函数的正向和反向传播公式,实现了端到端MPN-COV网络。
- 从统计、几何和计算的角度对MPN-COV进行了解释,解释了MPN-COV能够应对上述挑战的潜在机制。
- 在ImageNet 2012数据集上,我们对MPN-COV进行了深入的评估,验证了我们的数学推导和理解。
额,这篇论文涉及很多矩阵论以及概率论的东西,我断断续续看了快两周,真滴菜,还是没整明白,最后放弃推导了,大家知道有这么个操作就完事了(?♀️)
总而言之,他对feature map做了协方差,而且对这个协方差做了一个norm的操作,这里就是求