Truncated SVD for faster dection

BJ_BUPT_Cai

于 2018-11-01 13:19:25 发布

阅读量1.4k

点赞数 3

分类专栏：目标检测文章标签：目标检测

本文链接：https://blog.csdn.net/weixin_35747666/article/details/83618764

版权

Truncated SVD在Fast R-CNN中用于降低全连接层的运算量，提高目标检测模型的速度。由于在目标检测任务中大部分运算时间消耗在全连接层，通过SVD压缩权重可以显著减少运算时间，将一个FC层转换为两个更小的FC层，以达到速度提升的效果，同时保持较高的精度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Truncated SVD方法最先被提出在《Fast R-CNN》论文中，用于降低全连接层的运算量，提升模型的速度。在卷积神经网络的分类任务中，FC层的运算速度远远大于CONV层，而在Fast R-CNN的目标检测任务中，大多数的运算时间发生在FC 的运算中，是因为针对每张输入图片，只进行一次卷积操作，而要对生成的Region Proposal，大致两千个，进行全连接操作进行分类与Bounding Box 的回归，因此若对FC层进行压缩则可以大幅减少运算时间。
原文：
On the contrary,for detcetion,large and half time spend on FC because of large amount of roi.
使用Truncated SVD的方法可以有效减少FC层的权重数量，从而减少运算时间，SVD是Singular Value Description，奇异值分解。
FC层如下所示，
在这里插入图片描述
Y=W×X，对W进行奇异值分解，W近似等于 $U\sum_tV^T$