格拉姆矩阵 Gram Matrix 简单理解

以下转自 https://www.zhihu.com/question/49805962

为了简单说明Gram Matrix需要首先说明feature map：为了学习对象的feature。所以假设我们加到100种滤波器，每种滤波器的参数不一样，表示它提出输入图像的不同特征，如：边缘、条纹等。这样每种滤波器去卷积图像就得到对图像的不同特征，我们称之为Feature Map。所以100种卷积核就有100个Feature Map。这100个Feature Map就组成了一层神经元。一般来说浅层网络提取的是局部的细节纹理特征，深层网络提取的是更抽象的轮廓、大小等信息。这些特征总的结合起来表现出来的感觉就是图像的风格。Feature Map中，每个数字都来自于一个特定滤波器filter或者核kernel在特定位置的卷积，因此每个数字代表一个特征的强度。本质就是特征的提取量化。进一步得到这些特征向量后，就可以计算Gram Matrix。简言之Gram Matrix就是k个特征向量之间的内积组成的矩阵——可以被看作feature之间的偏心协方差矩阵（没有减去均值）。如果两个图像的特征向量的Gram矩阵的差异较小，在风格迁移中，就可以认定这两个图像是相近的。Gram计算的实际上是两两特征之间的相关性，哪两个特征是同时出现的，哪两个是此消彼长的等等，同时，Gram的对角线元素，还体现了每个特征在图像中出现的量。格拉姆矩阵 Gramian matrix设矩阵X：X=[X1 X2⋯ Xn]则Gramian matrix为：性质：G是positive semi-definite matrix正半定矩阵G的行列式非0时，X是线性无关的（充分必要）（可用来判定X是否线性无关，很重要）