花书笔记 卷积网络（9.4卷积与池化作为一种无限强的先验）

卷积操作可以看成全连接网络，但对这个全连接网络有一个无限强的先验，指

1.一个隐藏单元的权重必须和它邻居的权重相同。

2.除了处在隐藏单元的小的空间连续的接受域内的权重之外，其余的权重都为0.

对第一条解释一下：这里说的权重不针对同一个输出单元。

如上图，x_2和x_3共享 a,b,c 这三个权重值，但输出单元不同，比如 x_2*b --> s_2, 而 x_3*b --> s_3

 使用池化也是一个无限强的先验：每个单元都具有对少量平移的不变性。

 

但当任务目标与先验的假设冲突时，使用卷积和池化就有可能导致欠拟合。

比如，如果一项任务依赖于保存精确的空间信息，那么在所有的特征上使用池化就有可能增大训练误差。（因为池化“模糊”了细节）

又比如，当一项任务涉及到要对输入中相隔较远的信息进行合并时，使用卷积就不太好。（因为卷积操作一次只针对一小块连续空间，无法合并距离远的信息）