weixin_42716570的博客

Intriguing Properties of Vision Transformers[论文地址](https://arxiv.org/pdf/2105.10497.pdf)本论文系统研究了基于Transformer和CNN构造的图像分类器一些很多有趣的特性，包括纹理与形状信息的提取效果不同。作者对模型的鲁棒性，抗攻击性，抗噪声性，泛化性等诸多特性进行了较为系统的研究，并得出了很多有趣的结论。作者总结的视觉Transformer(ViT)的一些共性结论1：Transformer对严重的遮挡，扰

简介随着Vision Transformer的发展，利用CNN与Transformer相结合、基于纯Transformer设计的网络架构层出不穷。与此同时，相当一部分研究聚焦于探讨Transformer的必要性，并由此出现了多层感知机(Multi layer perceptron, MLP)、傅里叶变换(Fourier transform)等替代Transformer组件构建backbone的研究。本文力图将现有前沿同Transformer相关或力图替代Transformer结构的相关研究汇总到一起，将

内容简介该论文由上海交通大学的Yong-Lu Li等人发表在CVPR 2020。本文在属性-对象组合配对问题当中提出对称性法则并同群论公理相结合，以使得在对象去属性和对象添加属性变换更加合理。同时提出相对移动距离（RMD Relative Moving Distance）模型来利用属性自身的变化而不是属性本身的特征来对属性进行分类。本文将从论文背景、模型构建、实验结果和个人思考四个方面出发来介绍该论文。一、模型背景由图a上半部可以发现，在对象-属性组合问题当中，属性同对象之间具有组成性。同时，属性