【patch】CNN中 patch 是什么？patch 在CNN学习训练中是怎么起作用的？

在阅读基于深度卷积神经网络的图像识别、分类或检测的文献时经常看到“patch”，不是很能理解，后来就总结了一下。

 

通过阅读，“patch”似乎是CNN输入图像的其中一小块，但它究竟是什么呢?当使用CNN解决问题时，“patch”什么时候开始起作用?为什么我们需要“patch”? “patch”和内核(即特征检测器)之间有什么关系?

在CNN学习训练过程中，不是一次来处理一整张图片，而是先将图片划分为多个小的块，内核 kernel (或过滤器或特征检测器)每次只查看图像的一个块，这一个小块就称为 patch，然后过滤器移动到图像的另一个patch，以此类推。

当将CNN过滤器应用到图像时，它会一次查看一个 patch 。

CNN内核/过滤器一次只处理一个 patch，而不是整个图像。这是因为我们希望过滤器处理图像的小块以便检测特征(边缘等)。这也有一个很好的正则化属性，因为我们估计的参数数量较少，而且这些参数必须在每个图像的许多区域以及所有其他训练图像的许多区域都是“好”的。

所以 patch 就是内核 kernel 的输入。这时内核的大小便是 patch 的大小。

如图，主动脉弓和心脏，绿色部分相同，而黄色部分不同。传统的CNN算法，区分效果不佳。在 Multi-Instance Multi-Stage Deep Learning for Medical Image Recognition 这篇文章中，作者针对这种场景提出了解决方法。

这样训练出的网络，就会对有区分度的patch敏感，而对无区分度的无感。

 

一个CNN层生成一个中间表示。该表示被传递到下一层。如果下一层是CNN，则应用完全相同的“patch”概念，并以完全相同的方式进行计算，即使中间表示不是您或我可以识别为“图像”的东西。