- 博客(47)
- 收藏
- 关注
RSS订阅原创 (Java)2413. 最小偶倍数
解释：6 和 2 的最小公倍数是 6。注意数字会是它自身的倍数。给你一个正整数 n ，返回 2 和 n 的最小公倍数（正整数）。解释：5 和 2 的最小公倍数是 10。
2024-02-22 18:46:45
313
原创 (Python)pytorch，CUDA是否可用，查看显卡显存剩余容量
【代码】(Python)pytorch，CUDA是否可用，查看显卡显存剩余容量。
2024-02-02 22:02:06
874
原创 (python)vscode中debug时指定conda虚拟环境
step3：在新建的这个console中使用conda activate xxx激活需要使用的环境。step4：重新debug，这时就会使用刚刚激活的环境。step1：开启debug，会新建一个console。step2：结束debug。
2024-01-25 09:52:31
1106
原创 linux修改文件夹下所有文件的权限（常用）
g：同组用户（group），即文件所属组：与文件属主有相同组ID的所有用户。文件所有者可读、可写、可执行（rwx：可读r、可写w、可执行x）文件所属组可读、可执行（r-x：可读r、不可写-、可执行x）文件所有者可读、可写（rw-：可读r、可写w、不可执行-）其他人可读、可执行（r-x：可读r、不可写-、可执行x）文件所属组可读（r–：可读r、不可写-、不可执行-）其他人可读（r–：可读r、不可写-、不可执行-）u：用户（user），即文件所有者：创建文件的人。[who]：表示要修改的主体，
2024-01-24 20:57:11
2116
原创 【yolov5报错解决】ModuleNotFoundError: No module named‘ultralytics.yolo‘
【代码】【yolov5报错解决】ModuleNotFoundError: No module named‘ultralytics.yolo‘
2024-01-24 09:54:29
626
原创 YOLOV7剪枝流程
第二处位置在下面修改代码，源代码为：修改为：第三处位置在源代码为：修改为第四处位置在源代码为：修改为：修改后的train.py整体代码如下：2、剪枝剪枝方法YOLOv4剪枝【附代码】_strategy = tp.strategy.l1strategy()-CSDN博客参考此篇博文进行的通道剪枝。Pruning Filters for Efficient ConvNets这篇论文的技术下载torch_pruning模块时一定要使用0.2.5版本，把训练好的模型路径放进去定义
2024-01-12 10:42:54
1365
4
原创 DiSparse: Disentangled Sparsification for Multitask Model Compression论文简读
具体来说，DiSparse首先独立评估每个任务在共享参数空间中各个参数的重要性得分，然后仅剔除那些对所有任务都不重要的参数，这样就避免了因剪枝而导致某些任务性能急剧下降的问题，从而实现了一个更加平衡的网络结构。然而，当涉及到多任务网络的压缩时，由于不同任务之间特征的高度纠缠，传统的剪枝和稀疏训练方法往往效果不佳。总之，DiSparse是一种简单且有效的多任务网络剪枝方法，它通过解纠缠任务间参数的重要性度量，成功实现了多任务模型的有效压缩，同时也为多任务学习社区提供了一种强大的工具。
2024-01-08 10:48:54
398
原创 faiss-gpu安装失败
faiss-gpu版本需要与python版本相对应，而且python3.9以上版本大概率用不了faiss-gpu，如果自己的python版本过高请降低python版本试试。
2023-11-17 22:09:08
489
原创 [Linux版本Debian系统]安装cuda 和对应的cudnn以cuda 12.0为例
Linux新环境安装cuda和对应版本的cudnn
2023-11-17 21:59:47
4276
2
原创 （论文翻译）UFO: Unified Feature Optimization——UFO:统一特性优化
本文提出了一种新的统一特征优化(Unified Feature Optimization, UFO)范式，用于在现实世界和大规模场景下训练和部署深度模型，这需要多种人工智能功能的集合。UFO旨在通过对所有任务进行大规模的预训练，使每个任务受益。与现有的基础模型相比，UFO有两个重点，即模型尺寸相对较小和NO适应成本:1)UFO以多任务学习的方式将广泛的任务挤压成一个有调节的统一模型，并在转移到下游任务时进一步裁剪模型尺寸。2) UFO不强调转移到新奇的任务。
2023-10-20 11:08:47
465
原创 （论文翻译）THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS《彩票假说：寻找稀疏、可训练的神经网络》
神经网络修剪技术可以将训练网络的参数计数减少90%以上，降低存储需求并提高推理的计算性能，而不影响准确性。然而，当代的经验是，通过修剪产生的稀疏架构从一开始就难以训练，这将类似地提高训练性能。我们发现，一个标准的修剪技术自然地发现子网络，其初始化使他们能够有效地训练。基于这些结果，我们阐明了彩票假说：密集的、随机初始化的、前馈网络包含子网络（中奖票），这些子网络在孤立地训练时，在类似数量的迭代中达到与原始网络相当的测试精度。我们发现的中奖彩票赢得了初始化彩票：它们的连接具有使训练特别有效的初始权重。
2023-07-23 17:05:08
529
原创 （论文精读）PRUNING FILTER IN FILTER《滤波器中的剪枝滤波器》
剪枝已成为现代神经网络压缩和加速的一种非常有效的技术。现有的剪枝方法可分为两大类:滤波器剪枝(FP)和权重剪枝(WP)。与WP相比，FP在硬件兼容性方面胜出，但在压缩比方面失败。为了收敛两种方法的强度，我们提出在滤波器中对滤波器进行剪枝。具体来说，我们将滤波器F∈RC×K×K视为K个×K条，即1 × 1个滤波器∈RC，然后通过修剪条纹而不是整个滤波器，我们可以在硬件友好的同时实现比传统FP更细的粒度。我们称我们的方法为SWP (Stripe-Wise Pruning)。
2023-07-11 17:17:33
751
原创 （论文翻译）PRUNING FILTER IN FILTER《滤波器中的剪枝滤波器》
深度神经网络（DNN）在许多领域取得了显着进展，包括语音识别[1]，计算机视觉[2，3]，自然语言处理[4]等。然而，由于DNN中的大量参数，模型部署有时是昂贵的。为了缓解这样的问题，已经提出了许多方法来压缩DNN并减少计算量。这些方法可分为两大类：权重修剪（WP）和滤波器（信道）修剪（FP）。WP是细粒度修剪方法，其修剪各个权重，例如，其值接近0，在网络[5，6]内，导致稀疏网络而不牺牲预测性能。
2023-07-11 12:27:13
445
原创 轻量化网络模型调研报告
从轻量化网络结构定义来看，我们可以将轻量化网络分为轻量化网络结构设计和模型压缩两大类，其中模型压缩又可细分为知识蒸馏、剪枝、量化、低秩分解四个小类别。
2023-07-04 11:49:58
1501
原创 （论文精读）PRUNING FILTERS FOR EFFICIENT CONVNETS
cnn在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而，基于幅度的权值剪枝会从全连通层中减少大量的参数，由于剪枝网络的不规则稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种针对cnn的加速方法，在这种方法中，我们从被识别为对输出精度有小影响的cnn中删除滤波器。通过去除网络中的整个滤波器及其连接特征映射，大大降低了计算量。与剪枝权值相比，这种方法不会产生稀疏连接模式。
2023-07-02 10:03:48
745
原创 （论文翻译）PRUNING FILTERS FOR EFFICIENT CONVNETS
cnn在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括在不损害原始准确性的情况下修剪和压缩各个层的权重。然而，基于幅度的权值剪枝会从全连通层中减少大量的参数，由于剪枝网络的不规则稀疏性，可能不能充分降低卷积层的计算成本。我们提出了一种针对cnn的加速方法，在这种方法中，我们从被识别为对输出精度有小影响的cnn中删除滤波器。通过去除网络中的整个滤波器及其连接特征映射，大大降低了计算量。与剪枝权值相比，这种方法不会产生稀疏连接模式。
2023-07-01 18:28:21
166
原创 （论文精读）An Entropy-based Pruning Method for CNN Compression
本文的目标是通过滤波剪枝策略同时加速和压缩现成的cnn模型。首先利用所提出的基于熵的方法对各滤波器的重要性进行评估。然后丢弃几个不重要的过滤器以得到一个更小的CNN模型。最后，采用微调的方法恢复滤波器在剪枝过程中被破坏的泛化能力。我们的方法可以减少中间激活的大小，这将在模型训练阶段占据大部分内存占用，但在以前的压缩方法中较少关注。在ILSVRC-12基准上的实验验证了该方法的有效性。与以往的滤波器重要性评价准则相比，基于熵的方法获得了更好的性能。
2023-05-21 18:06:52
101
原创 （论文精读）YOLO-V2 & YOLO9000 ……（YOLO9000: Better, Faster, Stronger）
作者在摘要里说明了本篇论文分为两部分，第一部分就是对yolov1的改进，最终效果是，可以很快但精度略低，可以很精准但速度略慢。第二部分是对如何检测9000个物体的说明，用了一个联合训练的方法，使得yolov2可以检测出来原本没有标签的物体。训练是在coco目标检测数据集和imagenet分类数据集，验证在imagenet目标检测数据集，这里有不同的三个数据集。我们介绍了YOLO9000，一个最先进的，实时的目标检测系统，可以检测超过9000个目标类别。
2023-05-05 22:06:19
131
原创 （论文精读）VGG神经网络
在本工作中，我们研究了卷积网络深度对其在大规模图像识别设置的准确性的影响。我们的主要贡献是对使用非常小的(3×3)卷积滤波器的体系结构的深度增加网络进行了彻底的评估，这表明，通过将深度提升到16-19个权重层，可以实现对现有技术配置的显著改进。这些发现是我们ImageNet Challenge 2014提交的基础，我们的团队在本地化和分类方面分别获得了第一名和第二名。我们还表明，我们的表示可以很好地推广到其他数据集，在这些数据集上，它们获得了最先进的结果。
2023-04-16 20:18:36
197
原创 （精读论文）剪枝：HRank：Filter Pruning using High-Rank Feature Map
神经网络剪枝技术为深度神经网络在资源有限的设备上的应用提供了广阔的前景。然而，由于缺乏非显著性网络构件的理论指导，现有的修剪设计方法仍面临训练效率低和人工成本低等问题。在本文中，我们提出了一种新的滤波器剪枝方法，通过探索特征映射的高秩(HRank)。我们的HRank是受到一个发现的启发，即由一个过滤器生成的多个特征图的平均等级总是相同的，而不管cnn接收的图像批数是多少。基于HRank，我们开发了一种方法，该方法是数学公式的修剪滤波器与低秩特征映射。
2023-04-09 13:29:18
125
原创 （精读论文）剪枝Learning both Weights and Connections for Efficient Neural Networks
神经网络是计算密集型和内存密集型的，这使得它们很难部署在嵌入式系统上。此外，传统的网络在培训开始前就已经确定了架构;因此，培训不能改善体系结构。为了解决这些限制，我们描述了一种方法，通过只学习重要的连接，在不影响神经网络准确性的情况下，将神经网络所需的存储和计算量减少一个数量级。我们的方法使用三步法去除冗余连接。首先，我们训练这个网络，让它知道哪些连接是重要的。接下来，我们删除不重要的连接。最后，我们重新训练网络来微调剩余连接的权值。
2023-04-02 17:11:15
78
原创 （精读论文）网络大瘦身
深度卷积神经网络（CNN）在许多现实中的部署 世界应用在很大程度上受到其高计算成本的阻碍。在 本文提出了一种新颖的CNN学习方案，以同时1） 减小模型尺寸;2） 减少运行时内存占用;3）较低 计算操作的数量，而不会影响准确性。这是 通过在网络中以简单但 有效的方法。与许多现有方法不同，所提出的方法 直接应用于现代 CNN 架构，引入最小开销 培训过程，不需要特殊的软件/硬件加速器 对于生成的模型。
2023-03-26 13:02:20
33
原创 （剪枝）剪枝的理论
在介绍剪枝之前，首先来过参数化这个概念，过参数化主要是指在训练阶段，在数学上需要进行大量的微分求解，去捕捉数据中微小的变化信息，一旦完成迭代式的训练之后，网络模型在推理的时候就不需要这么多参数。而剪枝算法正是基于过参数化的理论基础提出来的。剪枝算法的核心思想就是减少网络模型中参数量和计算量，同时尽量保证模型的性能不受影响。
2023-03-25 17:33:25
945
原创 Pycharm中使用matplotlib绘图时，出现一个独立的窗口显示图形，而不止在sciView中显示
在绘图时，我们使用plt.show()之后图形只能显示在sciView之中，我们很不方便使用，因为我们无法放大缩小图片，如果是3D图形，我们没办法进行旋转查看更多的细节。这时我们需要我们的图形在一个独立的窗口中显示，我们需要做出如下设置。
2022-11-08 12:28:44
4097
原创 (zzulioj1007)鸡和兔关在一个笼子里，鸡有2只脚，兔有4只脚，没有例外。已知现在可以看到笼子里m个头和n只脚，求鸡和兔子各有多少只
zzulioj
2022-06-06 20:58:14
519
原创 （蓝桥杯）平面上有两个矩形，它们的边平行于直角坐标系的X轴或Y轴。对于每个矩形，我们给出它的一对相对顶点的坐标，请你编程算出两个矩形的交的面积。
问题描述 平面上有两个矩形，它们的边平行于直角坐标系的X轴或Y轴。对于每个矩形，我们给出它的一对相对顶点的坐标，请你编程算出两个矩形的交的面积。输入格式 输入仅包含两行，每行描述一个矩形。 在每行中，给出矩形的一对相对顶点的坐标，每个点的坐标都用两个绝对值不超过10^7的实数表示。输出格式 输出仅包含一个实数，为交的面积，保留到小数后两位。样例输入1 1 3 32 2 4 4样例输出1.00package zzulioj;import java.util.Scanner
2021-03-02 21:11:22
695
原创 （蓝桥杯）问题描述 给定一个N阶矩阵A，输出A的M次幂（M是非负整数） 例如： A = 1 2 3 4 A的2次幂 7 10 15 22
问题描述 给定一个N阶矩阵A，输出A的M次幂（M是非负整数） 例如： A = 1 2 3 4 A的2次幂 7 10 15 22输入格式 第一行是一个正整数N、M（1<=N<=30, 0<=M<=5），表示矩阵A的阶数和要求的幂数 接下来N行，每行N个绝对值不超过10的非负整数，描述矩阵A的值输出格式 输出共N行，每行N个整数，表示A的M次幂所对应的矩阵。相邻的数之间用一个空格隔开样例输入2 21 23 4样例输出7 101
2021-03-01 21:13:46
1350
原创 (Java)将一个正整数分解质因数，例如，输入90，输出2 3 3 5。
将一个正整数分解质因数，例如，输入90，输出2 3 3 5。输入输入一个正整数n（2<=n<=2000）。输出从小到大输出n的所有质因子，每两个数之间空一格。样例输入 Copy20样例输出 Copy2 2 5提示注意，最后一个数后面没有空格！！`import java.util.Scanner;public class Main { public static void main(String[] args) { Scanner cin=new S
2021-02-01 22:17:50
515
BIT-PRUNING A SPARSE MULTIPLICATION-LESS DOT-PRODUCT的全文翻译
2023-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人