qq_43110298的博客

/模型类型 [n/s/m/l/x/n6/s6/m6/l6/x6 or c/c6 gd gw]因此对于通道数比较多的卷积层和反卷积层，优化力度是比较大的；我学习的是 https://github.com/wang-xinyu/tensorrtx/blob/master/yolov5/yolov5_det_cuda_python.py。参考代码连接： https://github.com/wang-xinyu/tensorrtx/blob/yolov5-v6.0/yolov5/yolov5_trt.py。

Abstract解释了以前的工作中用的“基于范数的准则”，它需要在两个条件下才可以有效：1.范数的方差要大2.范数的最小值要比较小 （我倒是觉得这个还是比较容易满足的）提出了：Filter Pruning via Geometric Median (FPGM),在Cifai10 上取得了好成绩（感觉有点low）Introduction现在的剪枝可以由两类：1.weight pruning （导致非结构化稀疏）learning compression algorithms for

摘要开始时，剪枝作为一种模型压缩的方法被开发出来，后来发现有防止过拟合的作用。定义剪枝不稳定（pruning instability）：即剪枝后测试精度的下降。本文探究剪枝对于模型泛化能力的影响，发现结论1：随着剪枝不稳定（pruning instability）的增加，泛化能力有所提高。 PS：或者说泛化能力与剪枝稳定性呈反比。对结论1做出了解释：剪枝相当于向模型注入噪声 。其实剪枝也是模型训练的一种后处理方式，而改善模型训练的方法之一就是增加噪声，只不过以前我们增加噪声是随机增

文章目标：训练一个网络，可以使用不同的深度进行推理（网络可以调整它的宽度，依据硬件条件）11.1轻量化网络 lightweight networksNAS这些无法部署到不同的手机上去。因为手机的性能千差万别。1.2一些模型虽然提出了一些宽度乘法子，使得模型可以在acc与速度之间进行一些取舍。缺点：不同宽度的模型需要独立测试与部署所以引入动态神经网络的介绍动态神经网络与数据驱动的模型是否一致呢？比如Optimizing accuracy-efficiency trade-o

https://github.com/zhongzhh8/PaperReading/blob/master/PolicyGradient%E7%BB%93%E5%90%88blockdrop.mdhttps://github.com/zhongzhh8/PaperReading/blob/master/Binary_Cross_Entropy.mdhttps://github.com/zhongzhh8/PaperReading/blob/master/PolicyGradient%E7%BB%9...

前言：moblienet模型是一种可以加速的轻量化模型。它将一般意义上的conv转化为deepconv + pointconv的形式，理论上是减少了计算量，减少了参数量，但是由于其将一个模块拆分为2个模块，我对其加速效果有质疑。模型与实验将源代码中采用【deepconv（+relu+Bn）+ pointconv（+relu+Bn）】的结构进行堆叠，代替原有的【Con33+relu+BN】。本次实验将反着做：将【deepconv（+relu+Bn）+ pointconv（+relu+Bn）】转回去【Con

小记：spconv是一种可插拔模型，即可以用在几乎任何模型中。因为它将一般模型中的Conv3 ** 3换成了一种新的模型（效果和Conv3** 3一样，但是计算量比较小），模型的其他的地方不变。这种轻量级网络目的是：小、快。但今天在实现的时候发现实际情况不是这样。模型就是把原来的3*3conv换成上面所示的结构。结果以vgg19为baseline。参数量方面：从20M（vgg19）降低到7M。推理速度方面：训练一个batch的时间却提高了。以上是vgg——baseline的训练时间（Tim