a486259的博客

根据RETHINKING THE VALUE OF NETWORK PRUNING论文提供的数据初步整理出了模型剪枝的信息，但不够精练，故而在此深入分析。主要解决以下问题：1、模型剪枝真的有用么？ 2、什么样的方案模型剪枝效果好？3、模型剪枝对性能影响大么？通过分析，得出结论，剪枝是有用的；自动结构化剪枝效果是综合效果最优的；对于任意规模的问题训练处的模型，剪枝50%基本上不会影响精度。

超分辨率（Super-Resolution），简称超分（SR）。是指利用光学及其相关光学知识，根据已知图像信息恢复图像细节和其他数据信息的过程，简单来说就是增大图像的分辨率，使图像更加“清晰”，尽可能保证图像质量不下降。超分辨率的方法包括传统方法和深度学习的方法，有关超分辨率方法分类如下图所示。深度学习方法在性能上远远领先于传统方法，有着更好的图像超分辨率表现。知乎用户 阿布的足迹​ https://zhuanlan.zhihu.com/p/558813267从单一低分辨率图像中恢复高分辨率图像。

过度参数化是深度神经网络中一个被广泛存在的情况，这导致了高计算成本和高推理内存占用。在低资源环境下，网络剪枝被广泛用于降低深度模型的推理成本。典型的网络剪枝过程包括三个阶段： 1)训练一个大型的、过参数化的模型（有时有预训练后的模型），2)根据一定的标准对训练后的大型模型进行剪枝，3)对剪枝后的模型进行微调，以恢复失去的性能。网络剪枝方法的一个主要分支是个体权重剪枝（非结构化剪枝），该方法基于权重对结果的贡献进行剪枝（如L1、L2范数等）。然而，这些。

通过本博文的查阅与分析，实现fastsam是较为简便的，且fastsam的性能可以随着全景实例分割模型的发展而进一步提升，同时也说明了fastsam中prompt的实现。而在sam中，各种实现较为生涩难懂，主要说明sam的模型结构，基本原理，数据生成范式。sam的亮点在于基于少量的语义分割标签，迭代出了一个1.1B 标签超大型数据集，其不断扩展标注数据量的思想是值得学习的；而在fastsam中则是对SAT重新定义得出SAT，基于对全景实例分割模型的后处理实现了类似sam的性能。

到2023年图像分类backbone模型已经拓展到了几十个系列，而有的新算法还在采样vgg、resnet做backbone，比如2022年提出的GDIP-YOLO还在用VGG16做IA参数预测，那是在浪费计算资源并限制了模型性能的提升，应该将目光放到现在的最新模型中。以PaddleClas所支持的模型为基准对现行图像分类模型进行进行一个摸底，具体分为移动端模型、桌面端模型、服务器级模型。以在imagenet数据集上的精度为准，精度在80%附近的只考虑移动端模型，精度在85%附近考虑服务器级模型，精度超过85

语义分割是深度学习中的一个重要应用领域。自Unet提出到现在已经过去了8年，期间有很多创新式的语义分割模型。简单的总结了Unet++、Unet3+、HRNet、LinkNet、PSPNet、DeepLabv3、多尺度attention、HarDNet、SegFormer、SegNeXt等10个语义分割模型的基本特性。

从MoblieNetV1、MoblieNetV2、MoblieNetV3到MoblieNetVit，模型系列经过了4次的迭代发展，但不离本质就是对conv的近似替代。先对conv的功能进行定义和拆分，然后对每一个子功能进行实现。试图以一个低参数高flop的block来替换掉原来的cnn层；在MoblieNet中，都是使用conv进行下采样，并没有使用池化层。MoblieNetV1提出了conv可以拆分为深度卷积和点卷积的组合，用深度分离卷积来近似标准卷积，虽然有一定的精度损失（越一个点），但能极大的降低

自从2021年Transformer被引入到视觉模型后，卷积神经网络基本上要末路了，虽然此后也有ConvNeXt、SegNeXt成功挑战过Transformer的地位，但也无力挽回卷积神经网络的大势已去。ConvNeXt使用了一些列的训练技巧（AdamW 优化器、Mixup、Cutmix、RandAugment、Random Erasing等数据增强技）和随机深度和标签平滑等正则化方案，也不过是勉强将 ResNet-50 模型的性能从 76.1% 提高到了 78.8%。

深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNet。

深度学习中的激活函数有Sigmoid、Softmax、Tanh、ReLU系列（ReLU、Leaky ReLU、Randomized LeakyReLU、PReLU、ELU、Softplus）、Maxout、Softsign（对称函数）、GELUs（dropout于relu的结合）、Swish、Mish等。使用激活函数只有一个目的：为多层神经网络模型提供非线性。因为，没有激活函数时，多层神经网络的多个矩阵连乘可以化简为单层神经网络的矩阵乘法。...

self-attention来自nlp的研究中，在深度学习视觉领域有不少新的attention版本，为了解各种attention机制。博主汇集了6篇视觉领域中attention相关的论文，分别涉及DAnet（位置注意+通道注意）、CBAM（通道注意+空间注意）、Attention U-Net（注意Gate）、SAGAN（self-attention）、CCNet（交叉self-attention）、ISSA（Long-range self-Attention + Short-range self-Atten

在图像分类任务中，图像数据的增广是一种常用的正则化方法，常用于数据量不足或者模型参数较多的场景。在本章节中，我们将对除 ImageNet 分类任务标准数据增广外的8种数据增广方式进行简单的介绍和对比，用户也可以将这些增广方法应用到自己的任务中，以获得模型精度的提升。这8种数据增广方式在ImageNet上的精度指标如下所示。...

自深度学习发展以来，就有很多关于优化器的研究者工作，优化器的目的是为了让损失函数尽可能的小，从而找到合适的参数来完成某项任务。目前业界主要用到的优化器有SGD、RMSProp、Adam、AdaDelt等，其中由于带momentum的SGD优化器广泛应用于学术界和工业界，所以我们发布的模型也大都使用该优化器来实现损失函数的梯度下降。带momentum的SGD优化器有两个劣势，其一是收敛速度慢，其二是初始学习率的设置需要依靠大量的经验，然而如果初始学习率设置得当并且迭代轮数充足，该优化器也会在众多的优化器中脱颖

如做图像分类时，resnet系列、densenet系列、efficientnet系统、hrnet系列都可以测试一下。但是，并非所有的工作都能用到预训练模型，有的时候完全需要我们。

理论问题与工程问题的差异有哪些，这是一个高深的问题，博主的见解不一定对，仅供参考。博主在还是硕士时，沉寂于水论文的庸俗之道中，也曾经有过很多惊艳的“创新”想法，结果上网一搜别人早就发了论文。整体来说，博主水论文是一直是围绕着理论问题在开展工作；后来博主面向工作时，则一直面向工程问题开展工作。因此，对理论问题与工程问题颇有思考，故写下这篇浅薄的博文。博主这里讨论的范围仅限于深度学习领域，其他一概不论。......

深度学习作为当下最为热门的技术，可以求解很多产业问题，如情感分析、故障预测、人脸识别、股票趋势预测，气象预测等等。这些应用展示了深度学习强大的能力，那么可以将深度学习技术应用到特定函数的参数求解上么？先上答案，不可以。深度学习技术无法应用到特定函数的参数求解问题上，因为深度学习虽然可以拟合任意函数的，但是却无法给出具体的函数形式。就如resnet、densenet一样，虽然知道他们很好的解决的imagenet数据集的分类问题，但却无法给出具体的函数的形式。...

单个数字做不了多分类，本质原因是单个数字只能描述一种属性，一种属性最多只能判断两种类别。所以，单个数字只能做二分类。如果能在一个数字内解析出多种属性，比如说嵌入，那么就可以对单个数字做多分类。但是由于嵌入的方式忽略数值本身，那也就不可能解析数字内有的属性。亦或者，是人工对数字特征进行解析，除特定数的余数是多少，前n位的值是多少，后n位的值是多少。比如输入n个数据，可以做k（k>=2）个类别的分类。这里k可以大于n，因为通过数据之间的线性变化与排列组合，可以形成新的属性。......