Transformer比CNN好在哪？

Transformer比CNN好在哪？

参考：https://www.bilibili.com/video/BV1L3411x7hw

一、Data scale

计算机视觉发展遇到data scale的瓶颈

CNN很多模型适用于监督性学习，CNN对海量数据的适配能力没有想象中的要好
Transformer对大数据的适配能力很好，可以明显地看到随着数据量的增加，模型的表现越来越好

二、Static and Dynamic

CNN很多学习的参数的静态参数，学完就fixed不动了
Transformer每个参数是可以动态的(Dynamic)

三、Interest point and Attention

interest point可以学到哪些点是更突出的，更有表达力的
attention更关注feature彼此之间的相互关系

CNN可以通过级联的关系学习到不同scale上的template，也就是interest point
Transformer学到的更多是attention学到的feature彼此之间的相互关系，普适性更好，不完全依赖于数据本身；关注的不仅仅是local信息，有一个从local到global这样的一个扩散的机制去寻找表达

四、Interest point + Attention

CNN学习到的feature有平移不变性，包括scale不变性和distortion不变性
Transformer不具备，所以将Transformer运用到目标检测问题上会出现一些问题
所以有了DETR(CNN+Transformer)