- 博客(15)
- 收藏
- 关注
RSS订阅原创 【知识蒸馏】 DistPro: Searching A Fast Knowledge Distillation Process via Meta Optimization
最近的知识蒸馏 (KD) 研究表明，不同的手动设计方案显着影响学习的结果。然而，在 KD 中，自动搜索最佳蒸馏方案尚未得到很好的探索。在本文中，我们提出了 DistPro，这是一个新颖的框架，它通过可微元学习搜索最佳 KD 过程。具体来说，给定一对学生和教师网络，DistPro 首先将一组丰富的KD连接从教师的传输层设置为学生的接收层，同时还提出了各种变换来比较特征图及其蒸馏途径。然后，连接和转换选择（路径）的每个组合都与随机加权过程相关联，该过程表明其在蒸馏过程中的每一步的重要性。
2023-03-01 10:19:15
334
原创 【知识蒸馏】 Knowledge Distillation from A Stronger Teacher
近年来，视觉模型的精度凭借更高级的训练策略和模型结构取得了大幅度的提升，但更新颖的模型也给知识蒸馏的应用带来了许多挑战。当前大部分知识蒸馏方法仍然是在传统的基准训练策略和模型上进行研究和实验，而在精度更高的新颖模型和策略下的表现甚至低于不使用知识蒸馏。以往的工作大多将此归结为模型的容量差异（capacity gap）导致的蒸馏效果下降。本文将介绍来自商汤研究团队和悉尼大学等机构的研究人员提出的一种logits层面的知识蒸馏算法DIST。
2023-02-28 20:41:54
1564
2
原创 【知识蒸馏】Knowledge Distillation with the Reused Teacher Classifier
知识蒸馏的目的是将一个强大而繁琐的教师模型压缩到一个轻量级的学生模型中，而不至于牺牲很多性能。为此，在过去的几年里，人们提出了各种方法，一般都有精心设计的知识表示，这反过来又增加了模型开发和解释的难度。相比之下，我们的经验表明，一个简单的知识蒸馏技术足以大大缩小师生之间的性能差距。我们直接将预先训练好的教师模型中的判别分类器重新用于学生推理，并通过单一的ℓ2损失的特征对齐来训练学生编码器。这样一来，只要他们提取的特征完全一致，学生模型就能达到与教师模型完全相同的性能。
2023-02-28 19:44:19
895
原创 【知识蒸馏】Masked Generative Distillation
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的表现。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度来看，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们屏蔽学生特征的随机像素，并迫使它通过一个简单的块生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。我们在具有广泛数据集的不同模型上进行了实验，结果表明所有学生都取得了出色的改进。
2023-01-02 20:37:38
1138
原创 【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
最近组里面因为项目上需要检测边缘信息，需要调研深度图的补全算法，当前的深度图补全主要集中在但目前较多研究聚焦于自动驾驶领域的Lidar深度图的补全，而对RGB-D相机涉猎较少，通过搜集GitHub，下面将对一些深度图的补全算法进行介绍。
2022-11-14 19:53:08
5044
22
原创 【点云3D目标检测】跑通CIA-SSD过程中的一些报错集锦
本文主要是介绍了在跑通CIA-SSD系列算法过程中遇到的一些bug，下面是对CIASSD算法的一个简单的介绍。CIA-SSD其基本思想是校准单步目标检测中分类和定位两个任务，提出。第一个是模块，为了准确预测目标框和分类置信度，自适应地融合低端spatial feature和高端抽象semantic feature。第二个是模块，对置信度进一步校准（rectified），使其和定位精度更加一致。最后采用Distance-variant IoU-weighted NMS获得更平滑的回归并避免冗余预测。
2022-11-14 15:06:57
1896
原创 【Linux常见指令】记录一些机器学习中常用的指令(自用，持续更新)
本文主要介绍在做深度学习时一些常用的linux命令，服务器/虚拟机中常见的bug，其他的也可以提一些需求作为补充，本文将一直更新.......
2022-11-14 14:52:11
1063
原创 【深度相机D435i】Windows+Ubuntu下调用D435i利用Python读取、保存RGB、Depth图片
最近组里面的项目需要用到D435i深度相机采集深度图片，所以记录一下在Windows+Ubuntu的环境下使用D435i深度相机的流程，以及如何利用python读取、保存常见的RGB、Depth图片。提示：以下是本篇文章正文内容，下面案例可供参考D435i 在小巧外形中采用英特尔模块和视觉处理器，是一个功能强大的一体产品，可与可定制软件配合使用，是一款能够了解自身运动的深度摄像头。运动中的摄像头的理想选择 D435i 结合了宽视场和全局快门传感器，是机器人导航和物体识别等应用领域的首选解决方案。
2022-11-13 22:12:30
7783
9
原创 【OpenPCDet】Kitti数据集下训练PointPillars并评估&可视化
ubuntu18.04 跑通OpenPCDet最近正在学习3D目标检测的算法，OpenPCDet是由香港中文大学MMLab实验室开源的轻量话激光雷达点云目标检测框架，它定义了一种统一的3D坐标系以及采用了数据与模型分离的高层代码设计思想，使用起来非常方便。但是在早期的版本中由于spconv库OpenPCDet完整环境下Spconv1.x与Spconv2.x的安装问题及解决方法），之后我将使用OpenPCDet完成pointpillars算法的训练、评估、可视化等操作。
2022-11-13 18:13:56
9639
9
原创 【点云3D目标检测】IA-SSD报错：Expected isFloatingType(grads[i].scalar_type()) to be true, but got false.
运行IA-SSD报错：Expected isFloatingType(grads[i].scalar_type()) to be true, but got false。最终发现是因为pytorch版本不对导致的，通过ctx.mark_non_differentiable函数使得输出不经过梯度运算来运算成功解决问题。
2022-10-07 21:31:15
1384
4
原创 【点云3D目标检测】OpenPCDet下Spconv1.x与Spconv2.x的安装问题及解决方法
目前正在学习3D目标检测与知识蒸馏方向的知识，大部分基于lidar的3D目标检测算法使用的是OpenPCDet框架，该框架的安装看起来十分简单，但是在安装其中spconv库的时候及其麻烦，尤其是spcon1.x版本的安装出错的bug极多。本文主要内容如下： - 首先介绍一下spconv2.x的安装，该安装是最为简单的； - 由于部分算法框架使用的是spcon1.x版本，因此本文将记录一下安装spcon1.x版本的安装过程！！！！ - 最后介绍一下安装spconv1.x中遇到的问题及解决办法。
2022-09-28 20:42:08
7428
13
原创 【Linux指令】GCC、CUDA、Python的版本不兼容情况下，新版本安装以及多版本切换
在学习OpenPCDet库时，由于安装过程出现了许多环境问题，比如gcc\cuda等版本不合适，在这里踩了很多坑，因此主要将gcc、cuda、Python的版本切换总结一下，以便后续的读者使用。
2022-09-27 21:42:10
2582
原创 【ORB-SLAM2配置】使用USB摄像头运行ORB-SLAM2
本文在前文已经安装好ORB_SLAM2后，开始尝试在Ubuntu16.04虚拟机上使用USB 摄像头运行ORB_SLAM2，从而对现实场景建立特征点地图。
2022-08-23 22:02:28
2182
原创 【ORB-SLAM2配置】ubuntu16.04安装pangolin库 （详细流程，亲测有效！）
介绍了在ubuntu16.04环境下安装ORB_SLAM2所需的第三方库Pangolin的过程中遇到的一些问题及解决方法。
2022-08-18 20:55:38
4367
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人