李沐——卷积层

重新考察全连接层

在以往的全连接层，输入是一个n维向量，但是在隐藏层我们输出的是k维，二者并没有关系。这一操作使用矩阵w来实现，可以理解为w改变了x的形状

那么我们考虑二维输入k*l，在隐藏层我们会用W改变Xk*l变成Hi*j，我们确实无法理解高维，但是在这里我们可以思考一个矩阵，Wijkl。它施加的变换能使X_k*l变成H_i*j。这里我们使用类比推理的思想，k*l理解为原来的输入n。

 这就用了简单的换元：k=i+a，A

平移不变性&局部性

对于CNN，我们不希望x变化时，V也跟着变化，V可以理解为分类器，我的x不管在哪，v都会感知它，也就是说一个neural监视很多区域。参数共享。

好了，我们需要平移不变性，假如是x的a，b变化，那么h的i，j根本不变。那么看来只有i，j变化才能满足平移不变性，但是此时v又会变化，而我们是不需要v变化的，所以我们只能提出上述解决方案。但v依旧是四维tensor，只不过我们把i，j常数化。

举个例子的话，X（i+a，j+b）=X（2+a，3+a）代表2+a行3+b列的像素，我们用V来做参数得到H（2，3），那如果X的i，j平移1个单位，H自然也平移一个单位，但是此时V的i，j不能平移！！！为了方式V中的i，j变化，我们令，取消v的可变性，此时v依旧是平移前的参数，尽管x真的平移了，平移后的x所需的参数v和平移前的v相等，所以可以这样假设：

 

 这里的意思是：在ij处，不用看太远！！！！所以控制a，b就可以了