Transformer比CNN好在哪?
参考:https://www.bilibili.com/video/BV1L3411x7hw
一、Data scale
计算机视觉发展遇到data scale的瓶颈
CNN很多模型适用于监督性学习,CNN对海量数据的适配能力没有想象中的要好
Transformer对大数据的适配能力很好,可以明显地看到随着数据量的增加,模型的表现越来越好
二、Static and Dynamic
CNN很多学习的参数的静态参数,学完就fixed不动了
Transformer每个参数是可以动态的(Dynamic)
三、Interest point and Attention
interest point可以学到哪些点是更突出的,更有表达力的
attention更关注feature彼此之间的相互关系
CNN可以通过级联的关系学习到不同scale上的template,也就是interest point
Transformer学到的更多是attention学到的feature彼此之间的相互关系,普适性更好,不完全依赖于数据本身;关注的不仅仅是local信息,有一个从local到global这样的一个扩散的机制去寻找表达
四、Interest point + Attention
CNN学习到的feature有平移不变性,包括scale不变性和distortion不变性
Transformer不具备,所以将Transformer运用到目标检测问题上会出现一些问题
所以有了DETR(CNN+Transformer)