- 博客(4)
- 收藏
- 关注
RSS订阅原创 论文解读《ViTKD:practical guidelines for ViT feature knowledge distillation》
传统的基于Logits的蒸馏方式，用于Transformer结构例如Vit是可以的，但是效率不够。基于中建特征的蒸馏方式应该怎么做呢？本文就是三种不同的方法，最后提出了一种基于中间特征的蒸馏方式：ViTKD，可以显著提高学生模型的效果。
2023-12-11 17:48:52
984
1
原创 CT3D：Improving 3D Object Detection with Channel-wise Transformer 论文阅读
Abstract现在点云的两阶段3D物体检测灵活性和高性能的建议修正工作都不是很好。以前的refining 3D proposals 都依赖人工设计，比如关键点采样，set straction 和多尺度特征融合等，都不能很好捕捉点之间上下文依赖信息。所以我们提出CT3D，其中包含region proposal 和 a Channel-wise Transformer。对于每一个proposal 都是由proposal-aware embedding和 channel-wise context aggre
2022-04-26 17:27:59
1564
原创 Center-based 3D Object Detection and Tracking 论文阅读笔记
Abstract三维对象检测通常用长方体来进行表示，3D世界中的对象不遵循任何特定的方向，基于长方体的检测器难以枚举所有方向或将轴对齐的边界框适合旋转的对象。所以提出模型CenterPoint。第一个阶段是使用关键点进行**检测** 和 **回归**；第二阶段是 **修正** ；在CenterPoint中，3D对象跟踪简化为 **贪婪的最近点匹配****。模型取得好的效果。Introduce现在面临的挑战有3个：1）点云稀疏性，造成许多3D物体没有测量值；2）生...
2022-04-23 20:30:57
3764
原创 VoTr:Voxel Transformer for 3D Object Detection 论文解读
···abstract本文提出来voxel-based transformer 主骨干，叫做Voxel Transformer（VoTr）。3D卷积在voxel-based（体素系列）不能够有效捕捉大范围信息，由于感受野的限制。所以提出来将自注意力机制应用与voxel中，即transformer-based的结构能够解决这个问题。直接应用标准的transformer不可行，所以提出改进the sparse voxel module和 the submanifold voxel model...
2022-04-21 11:22:09
4576
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人