qq_52053775的博客

知识蒸馏，其核心在于如何让一个小型、资源友好的模型（学生模型）通过学习一个庞大、性能优越但资源消耗大的模型（教师模型）的知识，从而在保持较小规模的同时，接近或达到教师模型的预测能力。这一过程就如同聪明的学生从优秀老师那里不仅学习到知识的精髓，还能借鉴老师的思考方式，最终虽不及老师经验丰富，却也能独立解决复杂问题。

由于边缘设备的限制，在模型的部署中经常受到模型大小、运行内存、计算量的限制。之前的方法要么只能解决其中一个问题，要么会带来精度损失。因此，论文提出能够使用BN层中的缩放因子γ实现对通道的剪枝，这种方法能够很好的解决三个问题，同时也不会带来过多的精度损失，也不需要进行额外的网络结构搜索。具体如下：在每层卷积中，有多个特征图，例如64个特征图。但是这64个特征图不一定都重要，保留其中重要的特征图，而将不重要的特征图剪枝掉，这就是模型剪枝。因此，首先我们需要给每个特征图一个权重因子，然后保留其中重要的特征图。

Mobilenet是一个用于移动端和嵌入式的神经网络，其核心思想是采用深度可分离卷积替代标准的卷积，以减少参数和计算量，同时也可对网络通道数和分辨率采用缩放策略。Mobilenet v2仍然是基于深度可分离卷积，使用倒残差结构解决深度可分离卷积中的窄边非线性激活的问题。MobileNetV3在 Mobilenet v2的基础上进一步引入了注意力机制SE模块，并使用了H-Swish激活函数。（1）现有问题移动设备的计算能力有限，同时需要处理实时交互体验，这要求模型既要高效也要具备高准确性。

为了加强视频帧之间信息的传递和提炼，BasicVSR++采用了二阶网格传播机制，通过增设二阶连接来增强特征的传播，从而在视频序列中实现更加有效的信息交换和精细化的特征提炼。即BasicVSR++结合前两帧的信息预测下一帧，对于当前帧的预测，首先输入前两帧对应的特征图，经过光流对齐，得到对齐后的特征图。最后，将DCN偏移量、mask、特征图输入到DCN模块即可得到最终特征图结果。下图中描述的是一阶光流对齐，二阶操作非常类似，首先，对于前两帧特征图。,分别经过光流对齐，得到对齐后的特征。

传统的剪枝技术主要集中在去除对模型性能影响较小的权重上，但这种方法通常产生非结构化的稀疏性，难以实际加速网络。为了解决这一问题，研究者转向了通道剪枝技术，该技术通过去除整个通道及其所有连接，保持了网络的结构化，从而实现实际的加速。但是，之前的通道剪枝方法忽视了微调过程。为了考虑到微调过程，本文提出的线性组合特征逼近（LCAF）方法是一种新型的通道剪枝技术，它综合考虑了基于冗余和可替代性的剪枝方法的优点。特征逼近：在同一层中，使用其他特征图的线性组合来逼近每个特征图。选择和剪枝。

下载数据集。

背景：传统的关键信息提取方法依赖于模板匹配，这使它们难以泛化到未见过的模板，且对文本识别错误不够鲁棒。SDMG-R方法：提出一种端到端的双模态图推理方法，通过构建双模态图（视觉和文本特征），并在图节点之间迭代传递信息以推理分类。其具体流程为：图模型：将文档图像建模为图，图的节点代表检测到的文本区域，节点间的边表示空间关系。特征学习：每个节点通过循环神经网络（RNN）和卷积神经网络（CNN）学习文本和视觉特征。信息传播：节点特征通过图边迭代传播，最终进行关键信息的分类。

这篇论文讨论了剪枝技术在提高网络效率方面的潜力及其科学基础，将其与人脑发展中的突触剪枝相比较。并提出了几个研究问题：特定类型的样本或类别是否受到剪枝的不成比例影响？剪枝如何影响模型对于图像损坏（如模糊、噪声、对比度变化）和对抗性样本的鲁棒性？定义：剪枝识别样本（PIE）是在稀疏和非稀疏模型之间表现出不一致预测结果的样本。这些样本被认为是对剪枝过程中稀疏性变化最敏感的。挑战：PIEs对模型的泛化能力特别具有挑战性。研究表明，仅在PIEs上进行推断会显著降低模型的整体泛化性能，尤其是在模型高度稀疏的情况下。

L1-范数基于滤波器剪枝：作者评估了使用L1-范数进行滤波器剪枝的方法，并比较了剪枝模型与从头训练模型的性能。在CIFAR-10和ImageNet数据集上，直接从头开始训练的模型（Scratch-B）通常比经过剪枝和微调的模型表现得更好。ThiNet与基于回归的方法的实验结果也类似，从头开始训练小型模型不仅可行，而且往往能得到更好的性能。这进一步质疑了传统剪枝策略的必要性。

项目目录文件如下：参数配置：训练，并且加入l1正则化 -sr --s 0.0001​​​​​执行剪枝操作 --model model_best.pth.tar(剪枝权重文件) --save pruned.pth.tar(保存剪枝结果) --percent 0.7(剪枝比例)再次进行微调操作 --refine pruned.pth.tar --epochs 40。

Docker是一个开源的应用容器引擎，它可以让开发者将应用以及应用的依赖打包到一个可移植的容器中，然后发布到任何Linux机器上，实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口，更重要的是容器性能的开销极低。Docker利用容器技术，实现了应用和环境的打包，方便在不同机器和平台上进行部署和扩展，大大提高了应用的可移植性和一致性。：Docker可以为每个应用创建一个独立的运行环境，避免了不同应用之间的环境冲突。

1.打开主页下载完我们只需要其中的一个训练好的模型而已4.需要把模型复制到C盘下5.进入到下载好的github项目中，进入该路径6.模型说明00000123 表示模型的版本号7.执行该命令docker run -t --rm -p 8501:8501 -v 本地路径：/models/xxx -e MODEL_NAME=half_plus_two tensorflow/serving必须绝对路径，注意路径的格式server已经启动8.测试hello_world。

deepstream来源 于GStreamer，它将一个一个元素用管道串联起来，形成视频流。

TAO的安装TAO为三个字母的缩写：Train, Adapt, Optimize，这是我们开发AI模型的常见步骤，也代表了其主要功能。通过使用TAO，我们可以在服务器上训练模型，然后部署到jetson nano上，训练过程非常简单，而且效果很好，支持多种模型和模型格式。

jetson-inference是官方推出的体验套件，提供了三种最常见的AI应用于计算机视觉的类型，imagenet用于 图像辨识 ( Image Recognition )detectNet用于对象辨识segNet用于语义分割可以先使用windows下载是遍历下载Git子模块，网络不好多次执行然后使用MobaXterm进行上传2.Docker的安装使用jetPack默认已经安装了docker查看docker版本：docker -v。

核心板（左）与载板（右）

目前以大名鼎鼎的YOLO为代表的基于CNN的实时监测网络需要NMS进行后处理，导致不能很好的优化网络，并且网络不够健壮，从而导致检测器的推理速度出现延迟。研究者也分析了Anchor-based和Anchor-free的YOLO的性能，发现Anchor并不是影响实时监测的关键要素，而NMS后处理彩色。DETR很好的解决了后处理对于模型的限制，却受限于Transformer巨大的计算量，无法发挥实时监测性。因此，作者想要重构detr,使其具有实时性。

和分别表示变形的键嵌入和值嵌入。具体来说，我们将采样函数（·；·）设置为一个双线性插值，使其可微：其中和索引了上的所有位置。由于g只在最接近的4个积分点上不为零，因此它简化了等式（8）到4个地点的加权平均值。与现有的方法类似，我们对q、k、v进行多头注意，并采用相对位置偏移r。注意头的输出表述为：其中对应于之前的工作[26]之后的位置嵌入，同时有一些适应。细节将在本节后面解释。每个头的特征被连接在一起，并通过Wo进行投影，得到最终的输出z为等式(3)....

新建好这些文件夹，也就是接下来咱们完成的内容配置好ffmpeg的环境变量，也就是把这个bin所在路径添加到环境变量这一步完成之后，可能需要重启才能用ffmpeg，然后打开命令行试一下这个命令表示成功对已经选择好的视频进行切割，比如固定长度是45秒（自己定）右键git bash打开命令行，执行脚本文件sh cut_videos.sh脚本文件对裁剪好的视频进行截帧操作，默认一秒30张图像即每1s只取一帧图像，同时去掉头部和尾部，执行video2img.py即可使用VIA来进行数据标注。

数据可以使用labelme进行数据标注，labelme还提供了数据集格式转换脚本，可以将labelme数据集格式转换为voc数据集格式转换后：JPEGImages为图片，SegmentationClassPNG为标签。

按照博客所示的步骤，生成配置文件，并进行修改，配置文件的各个type都是已经注册好的，可以根据自己的需要进行修改。其中，所有的type，都可以在mmsegmentation\mmseg\models中找到。上一篇博客 MMLAB系列：mmsegmentation的使用_樱花的浪漫的博客-CSDN博客。

运行demo/image_demo文件，指定模型参数运行。

可能是版本不适应，降低版本即可注释掉日志信息2.mmcls/datasets/imagenet.py 需要修改为自己的类别。

mmdetection支持coco和voc数据格式，建议使用coco数据格式。

1.Dual Cross-Attention Learning for Fine-Grained Visual Categorization and Object Re-Identification https://arxiv.org/abs/2205.02151用于细粒度视觉分类的双交叉注意学习物体重新识别 最近，自我注意机制在各种NLP和CV任务中表现出令人印象深刻的性能，这可以帮助捕获序列特征并导出全局信息在这项工作中，我们探索了如何扩展自关注模块，以便更好地学习用于识别细粒度对象