- 博客(20)
- 收藏
- 关注
RSS订阅原创 如何用大模型蒸馏一个yolo模型？（一）
这篇论文进一步研究了使用知识蒸馏来改善小目标检测的问题，并提出了一种适用于小目标检测的知识蒸馏方法。这篇论文针对一阶段目标检测器，如YOLO，提出了一种基于知识蒸馏的方法来提高模型的性能。这篇论文介绍了YOLOv2模型，并提出了使用知识蒸馏的方法来进一步提升模型的性能。github上的开源项目只搜到了一个相关的，是基于论文的一个实现。
2023-10-30 15:38:32
264
原创 Distilling the Knowledge in a Neural Network学习笔记
通过调整这两个目标函数的权重，可以在保留软目标的信息的同时，让模型更好地学习硬标签的知识。在使用硬标签和软目标进行训练时，需要注意将软目标的梯度乘以温度的平方，以保持硬目标和软目标的相对贡献大致不变。在传统的监督学习中，通常使用硬标签来训练模型，即将模型的输出与真实标签进行比较，通过最小化它们之间的差异来优化模型。软目标是大模型的输出概率分布传递给小模型来获得的，这些概率分布可能包含了大模型的对于小模型来说，额外的知识和不确定性。这样可以在保留软目标的知识的同时，确保模型也能够学习到正确的标签信息。
2023-10-30 14:29:30
754
2
原创 batch norm为什么会work：How Does Batch Normalizetion Help Optimization
BN的作用是显而易见的：加速收敛，降低对lr的敏感性。BN的作者认为，BN层把输入数据，变成了独立同分布的状态，这是BN work的原因。MITMIT的文章反驳了上述观点：how Does Batch Normalizetion Help Optimization下面的实验每层都有BN，但是由于添加了噪声，层间分布已经不同了。在这种情况下能收敛，反驳了独立同分布是BN收敛的原因。...
2019-06-11 11:33:09
461
原创 RepPoints 可形变卷积 个人理解
目标检测的通用做法是，数据以边框格式标注，模型拟合，也是拟合边框的坐标和长度，拓展到3D，可以按照标注数据的格式，拟合3维体的中心点坐标和旁开的长度。而在二维的目标检测中，比如由于目标的形状不同，如人或动物的姿势变化，在边框内有效信息可能会相对减少，作者就针对这种情况，改变了标注数据和最终拟合的形式，变成关键点拟合。如何拟合这些关键点呢？作者用了在通用anchor方式的检测中所用到的普通卷...
2019-06-11 08:50:21
1876
原创 pytorch dataloader的使用
pytorch的数据往模型里输入的时候，不像tensorflow一样定义一下placeholder直接feeddict就可以，需要使用dataloader中转。使用dataloader了以后，可以通过dataloader的传入参数控制minibatch，shuffle，并行计算时使用的cpu核心数。而dataloader用的时候，也需要一个dataset，将数据整理成dataloader可...
2018-08-29 14:07:47
3016
2
原创 图像类的分类模型假阳性（FP）高的解决思路
1，加hard mining.2，做图像增强（传统cv方向的锐化等等）3，增加网络结构4，多模型融合5.后接一个分类器
2018-08-17 10:00:01
3182
原创 tensorflow API整理----Traing
TrainingTraining包含了以下一些类，用于模型训练：Optimizers，Gradient Computation，Gradient Clipping，Decaying the learning rate，Moving Averages，Coordinator and QueueRunner，Distributed execution，Reading Summaries
2018-06-15 14:47:22
504
原创 Mask R-CNN论文笔记
1.掩码分支对每个RoI的输出维度为K*m*m，即，对每个分类（共k个）都生成一个是该类的概率的heatmap。 2.此处的Loss为L=Lcls+Lbbox+Lmask ，Lcls Lbbox定义方式与faster rcnn一致。3.This pixel-to-pixel behavior requires our RoI features,which themselves are sm...
2018-06-15 14:46:48
304
原创 CNN 输出维度和感受野的计算
输出维度的计算公式如下：感受野是上述过程的逆过程，但是不需要考虑padding的大小。因为padding只是最图像边缘像素的填充。rfsize=（nout-1）*stride+ksize
2018-06-15 14:44:48
874
原创 ubuntu14.04 环境bug解决
ImportError: libcudart.so.8.0: cannot open shared object file: No such file or directory$ sudo ldconfig /usr/local/cuda/lib64 ImportError: libnccl.so.1: cannot open shared object file: No such file ...
2018-06-05 14:30:13
269
原创 RPN的实现细节
https://github.com/abbyQu/Mask_RCNNRPN的输入是卷积层最后的feature map，所谓的sliding window其实还是做卷积，用n*n论文里说的是窗口大小，其实就是卷积核大小。这里取n=3。上述卷积结果，得到了一个共享的层，代码里叫shared、这个共享层，指的是class（是否为roi）和regression（4个bbox数据的回归）共享。...
2018-06-04 17:12:32
2322
原创 投影变换 仿射变换的神经病思路--BP神经网络
接了个任务，有两组（x,y）坐标，都是一块地图上的，但是不是一个坐标系下。因为误差太大，opencv还有armmadillo库，都求不出来准确的变换矩阵，来做前向计算。matlab能解出来，但是不好移植到c++。于是…就换了个思路，写了个BP神经网络来做映射。效果还不错。数据如下：import tensorflow as tf import numpy as np from sklea...
2018-05-02 15:03:50
579
原创 为什么5*5卷积等价于两个3*3卷积
inceptionv3里模型参数压缩方面，提到的这个方法，比如，一个原始矩阵是2*3，卷积核是3*3，那么卷积结果是4*5的矩阵 一个4*5的矩阵继续和3*3的卷积核卷积，结果是6*7的矩阵2*3的直接和5*5的卷积，结果是6*7的矩阵。所以如果需要一个6*7的感受野，那么一个5*5的卷积核与2个3*3的结果是相同的。...
2018-03-06 10:13:26
9324
2
翻译 tensorflow API整理<1>----Training
存下来备用，翻墙不易。TrainingTraining包含了以下一些类，用于模型训练：Optimizers，Gradient Computation，Gradient Clipping，Decaying the learning rate，Moving Averages，Coordinator and QueueRunner，Distributed execution，Re
2018-02-02 16:05:43
523
原创 win10 下 编译tensorflow到Android-----暂时不可行。
#在虚拟机上装成功了。就按照官方的流程改就行了……尴尬……唯一的坑就是java版本的问题，只有java 1.8.0_151这个版本能跑通。编译的时候，执行bazel build -c opt //tensorflow/examples/android:tensorflow_demo遇到了错误： “D:\Program Files (x86)\VC\\VCVARSALL.BAT
2018-01-23 17:59:21
287
原创 tensorflow 读取图片数据---读本地图片
网上找了个能跑通的 把图片读入队列的 程序，顺便试了下把这段代码改成读txt数据的，也跑通了。写个学习总结。想写个机器学习模型，第一步当然是把数据读进来。读数据除了用python本身的一些方法，tensorflow当然也提供了更加高效的数据读入方式。今天看的是WholeFileReader 将数据组织成队列的方式。import tensorflow as tfimport osim
2018-01-22 17:56:43
1187
原创 目标跟踪图像识别的解决方案----深度学习
最近因为面试，看了一些图像识别目标跟踪的东西，希望记录下来。如有错漏欢迎指正。深度学习出来之前，目标跟踪和图像识别方面基本上都是被传统图像处理算法统治的，传统算法比如sift ，surf，基于帧间差分的滤波器，等等。2012年，Alexnet横空出世，直到resnet15年拿下了imagenet的图像识别类目冠军，错误率降低到3.57%，深度学习开始出现在媒体和工业界面前。12年到15年是
2018-01-03 16:58:24
7559
原创 C++ 类函数导出DLL，多类dll嵌套。
最近做的项目算法要导出dll，一个类要嵌套另一个类。网上找的资料都不全，自己摸索出来的办法。做个总结：一：只导出一个类。可以有两种做法（1）一是直接把__declspec(dllexport) 加在类定义的地方，这个时候，output函数只能接受一个传入参数。.h文件：class __declspec(dllexport) A{private:double *diff(
2017-11-20 08:42:31
1215
原创 C++ list iterator not incrementable 不是erase的情况
//下面的程序在执行最后一句，取值的时候，会弹出list iterator not incrementable的错误，发现把pnlist=peek.begin()那一句，移动到后面，就不会出这个错误了。（注掉那个地方）//不是说list在push的时候，不会影响表首的地址吗list peek; list::iterator pnlist; pnlist = peek.be
2017-08-22 15:36:17
593
原创 win10 配置TensorFlow环境
1.下载安装python3.5 2.在cmd窗口用pip安装TensorFlow pip3 install --upgrade tensorflow3.用pip安装Python需要的库 4.下载pycharm 破译方法 http://download.csdn.net/detail/luoyeyuan/95909305.在pycharm里就可以写个TensorFlow的
2017-08-09 17:48:40
254
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人