- 博客(12)
- 收藏
- 关注
RSS订阅原创 windows 安装tensorrt
1.安装cuda10.2CUDA 工具包 11.1 下载developer.nvidia.com2.安装cudnn-10.2-windows10-x64-v8.0.4.30cuDNN Archivedeveloper.nvidia.com把下载后的压缩文件解压缩，分别将cuda/include、cuda/lib、cuda/bin三个目录中的内容拷贝到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2对应的include、lib
2020-12-26 17:30:57
1172
3
原创 Object detection at 200 Frames Per Second
论文链接：Object detection at 200 Frames Per Secondarxiv.org本文记录该篇文章中蒸馏策略：针对yolo模型，COCO数据集作为目标检测任务的训练目标难度大，意味着teacher network会预测出更多的背景bbox，如果直接用teacher network的预测输出作为student network学习的soft label会有严重的类别不均衡问题。解决这个问题需要引入新的方法，以论文中的reg loss为例：paddlepaddle
2020-12-23 11:57:21
338
原创 部署高效及泛化能力强的Osnet论文解读
Building Computationally Efficient and Well-Generalizing Person Re-Identification Models with Metric Learning论文解读，先上论文链接https://arxiv.org/pdf/2003.07618.pdfarxiv.org这篇文章可以看做是对osnet的改进，简单回顾下osnetK. Zhou, Y. Yang, A. Cavallaro, and T. Xiang, “Omni-s
2020-12-22 13:24:58
852
原创 u版YOLOv5目标检测openvino实现
本文禁止转载u版的意思是指Ultralytics开源的yolov5实现https://github.com/ultralytics/yolov5github.com1. 缘由pytorch YOLOv5转换 openvino 的实现在github 上搜下有不少，但是直接拿来用或多或少都有些问题，原因在在于u版YOLOv5更新太快了，很多转换代码有些过时了，同时不同版本的onnx对某些算子无法支持，最重要的是没有一个完整全流程的实现，所以我决定自己撸一把，下面废话少说，直接开干2. py
2020-12-21 19:59:35
2062
4
原创 SoftmaxWithLoss反传求导
如果SoftmaxWithLoss中的label为one-hot形式，求导不需要上述那么麻烦，只需要计算label为1时对应的导数，等价于求其最大后验概率。如果是knowledge distilling中softlabel这种则需要计算所有的label对应的导数...
2020-12-21 13:54:04
113
原创 SigmoidWithLoss反传求导
众所周知，使用sigmoid作为激活函数时如果预测值过大或者过小时会出现梯度接近于0的情况，这样会导致收敛变慢，网络无法学习，但是为什么sigmoid和cross entropy结合起来却不存在这种问题，答案在其反向求导过程，反向求导的过程中cross entropy和sigmoid的导数抵消掉了，消除了梯度弥散的影响...
2020-12-21 13:52:59
273
原创 Feature norm 反传求导
最近看了一些对softmax做改进应用于人脸的文章，其中提到了对特征层做norm2然后scale，再加上其他一些trick提高softmax分类器性能的文章，现把norm这块的反传求导贴上来
2020-12-21 13:51:59
231
原创 人脸识别之损失函数Softmax
这次我想和各位童鞋分享下人脸识别中的损失函数，我认为根据损失函数的不同可以把人脸识别看做classification和metric learning两种或者两者的结合。下面我分享下我训练中踩的一些坑，如有纰漏欢迎童鞋留言。最常见的是softmax，我在用softmax训练模型时发现人脸模型会收敛的很快，训练的准确率很快就到了0.9，但是继续训练之后我们会发现测试集的精度不上升了，如果训练过度还会出现下降的情况，不用问肯定是过拟合了。但是有些时候你会发现及时加一些防止过拟合的手段还是会发现测试精度上的不明
2020-12-21 10:52:29
584
原创 人脸识别之数据和网络结构
更新了一部分对网络结构的尝试针对于移动端的神经网络结构，我觉得要关注的有两个方面，一个是设计表达能力较强的网络，另一个是模型压缩，关于模型压缩的内容可以参考我之前的文章，这里我想说的是网络结构。目前CNN主要分为卷积层和全连接层，而卷积层的计算量又很大，所以我们考虑的寻找表达能力强并且计算量小的卷积，学术界和工业界已经在这方面做了很多探索比如group convolution, depthwise separable convolution, point-wise convolution等等，具体可以参
2020-12-21 10:51:49
817
2
原创 模型压缩那些事（三）
今天继续扯模型压缩的那些事，这篇我主要想扯下knowledge distilling，为方便之后简称KD，知乎关于KD的文章很多了，我就不详细介绍了，KD简单的说是想将复杂模型(teacher)的知识迁移到简单模型(student)中去，这样相当于在保持精度的同时减少了模型的复杂度，然后简单模型可以直接开跑，不需要像之前做量化那样做定点化了。我觉得KD这个思想很好，但是怎么做就是八仙过海，各显神通了。我介绍下我试过的一些方法。1.首先是hinton老爷子的论文，其思想是one-hot label这种
2020-12-21 10:50:37
120
原创 模型压缩那些事（二）
今天扯扯如何减少模型所占的空间。我认为压缩这块可以简单分为两部分分别是Pruning和Quantization，Pruning的思想是将卷积层和全连接层中的权重较小的值去掉，然后finetune恢复精度，Quantization是指将32位的浮点数量化成低比特的整数从而达到压缩和加速的目的，下面分别来说这两部分：Pruning这块我主要试了两大类，分别是non-structured sparsity和structured sparsity两种，我在实现的时候都是加入一个mask，其大小和卷积层参数的
2020-12-21 10:49:51
91
原创 模型压缩那些事（一）
模型压缩那些事（一）最近搞了一段时间的模型压缩，有些经验想和各位童鞋分享下，想哪说哪，不严谨的地方欢迎大家随时拍砖。目前卷积神经网络已经在计算机视觉领域取得了长足的进步，但是由于目前业内认为越深网络效果越好，所以卷积神经网络参数巨大，并且计算卷积层和全连接层需要大量的浮点矩阵乘法，导致计算开销也非常大，虽然有的网络可以在GPU上实时运行，但是这种庞然大物无法直接应用于手机等嵌入式设备中，所以我们需要对卷积神经网络进行裁剪使神经网络可以在手机跑起来。如果想要在手机上跑深度学习模型有两个关键点，一个是模
2020-12-21 10:48:13
113
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人