- 博客(8)
- 收藏
- 关注
RSS订阅
2原创 When Shift Operation Meets Vision Transformer: An Extremely Simple Alternative to Attention Mechanis
注意力机制并不是ViT必不可少的部分。提出将注意力机制简化为zero FLOP and zero parameter，具体来说是重新讨论了移位操作shift operation，它不包含任何参数或者算术计算，唯一的操作是再相邻特征之间交换一小部分通道。基于这种操作提出一种新的backbone, shiftViT。......
2022-06-08 19:31:59
509
原创 C++11并发指南.02——std::mutex
文章目录mutex头文件介绍mutex系列类（四种）lock类（两种）其他类型mutex头文件介绍mutex系列类（四种）std::mutex，最基本的mutex类std::recursive_mutex，递归mutex类std::time_mutex，定时mutex类std::recursive_timed_mutex，定时递归mutex类lock类（两种）std::lock_guard在 lock_guard 对象构造时，传入的 Mutex 对象(即它所管理的 Mutex 对象
2022-05-26 19:49:00
1536
原创 LeViT: a Vision Transformer in ConvNet‘s Clothing for Faster Inference
文章目录前言1. 模型1.1 设计原则1.2 模型组件patch embeddingno classitication tokennormalization layers and activationsMulti-resolution pyramidDownsamplingAttention bias instead of a positional embeddingSmaller keysAttention activationReducing the MLP blocks1.3 网络结构图2. 代码3.
2022-05-25 19:41:36
581
原创 A Survey on Vision Transformer
摘要本文探讨的主要类别包括：主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进device-based的实际应用。此外还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。Introduction高级视觉处理：对图像中所见内容的解释和使用。中级视觉处理：将这些信息组织成物体和表面objects and su
2022-05-24 15:08:39
735
原创 C++11并发指南.01——std::thread
文章目录前言基础知识std::thread 构造move赋值操作其他成员函数前言C++11 新标准中引入了四个头文件来支持多线程编程，他们分别是atomic thread mutex condition_variable 和 future。atomic：该头文主要声明了两个类, std::atomic 和 std::atomic_flag，另外还声明了一套 C 风格的原子类型和与 C 兼容的原子操作的函数。thread：该头文件主要声明了 std::thread 类，另外 std::this_t
2022-05-20 20:45:40
453
原创 How Do Vision Transformers Work
引入从CNN的角度来看，MSA可以看成是一种特殊的卷积变换，它作用在整个feature map上，具有大尺寸的核参数，因此MSA应该具有卷积操作的基础能力。但是MSA的长距离依赖建模能力对于模型预测性能的提升，本文作者提出了反对意见，作者认为给予模型适当的距离约束可以帮助模型学习更鲁棒的表示，例如一些局部建模MSA的工作，CSAN和SwinTransformer都仅在小窗口内计算自注意力，不仅在小数据集上表现优异，而且在大型数据集例如Imagenet-21K上达到了更好的性能。基于此，作者提出了针对MSA
2022-05-14 18:49:40
1175
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人