- 博客(134)
- 资源 (7)
- 收藏
- 关注
RSS订阅
原创 深度学习入门基础准备工作
这里写自定义目录标题1、如果台式机/笔记本上没有Nvidia控制面板，如何找NIVDIA控制面板？1.1 如何查看Nivdia显卡对应的cuda版本新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入1、如果台式机/笔记本上没
2022-05-03 14:50:44
1570
原创 A Survey of Quantization Methods for Efficient Neural Network Inference---2021年
A Survey of Quantization Methods for Efficient Neural Network Inference--2021年AbstractI. INTRODUCTION二、量化的一般历史（GENERALHISTORY OF QUANTIZATION）A.神经网络中的量化--Quantization in Neural NetsIII. 量化的基本概念----BASICCONCEPTS OFQUANTIZATIONA. Problem Setup and Notations-
2022-04-26 12:50:35
1815
原创 YOLOv5resume训练
YOLOv5resume训练AssertionError: runs\train\yolov5l-C3-VOC07+12-baseline\weights\last.pt training to 50 epochs is finished, nothing to resume.AssertionError: runs\train\yolov5l-C3-VOC07+12-baseline\weights\last.pt training to 50 epochs is finished, nothing t
2023-04-11 06:39:27
1028
1
原创 模型压缩基础知识-模型的参数量FLOPS VS 模型的体积大小
计算机用 表示 一个 float32 就会用到 4 个字节 那模型参数量有61.5 M（Million） 个float32 在计算机存储时候模型的体积就是61.5M x 4个字节 = 246 MB。计算机用 表示 一个 float32 就会用到 4 个字节 那有模型的参数量是 3.41967MB 个float32 就是 模型的大小是14007kB了噻。
2023-03-15 14:34:36
864
1
转载 yolov5遇到的问题
这是因为yolov5-master版本和yolov5-5.0/yolov5-6.1等版本下的【utils】中的【loss.py】文件是不一样的，大概是yolov5-5.0/yolov5-6.1等版本在更新版本的时候出了问题。明明自己【data】下的yaml文件，【models】下网络结构等文件设置与修改都是按照教程来的。那么你是在修改下面地方时，没有将【anchors】和下面的【gain】对齐！修改【utils】中的【loss.py】里面的两处内容。1.打开你的【utils】文件下的【loss.py】
2023-03-14 09:54:52
603
原创 yolov5遇到的问题-在anaconda 虚拟环境中安装pytorch，cuda
如果以上两个界面都出现，则cudnn也安装成功。运行后输出的是False，说明cuda有问题。cuda不可用报错，现实没有有效的驱动可使用。1：查看cuda版本：nvidia-smi。3.输入如下指令查看是否安装CUDA。下图显示:None,表示未安装成功。2 .安装cuda和Pytorch。1、测试cuda是否配置正确。3. 查看cudnn版本。
2023-03-12 01:01:14
2672
原创 模型剪枝-理论理解
直接设计结构小参数少的网络，比如moblienet、shuffleNet等。硬件加速：通过使用更适合卷积运算的硬件设备或者针对专门的硬件设备，合理改变：数据存储和流动方法来调高运算的速度。同时，参数的改变意味着网络结构已有一定的变化。在得到小网络后，同时也需要进行训练微调参数，得到更优的模型。在已经训练好的网络上基础上，对参数进行筛选、转换、近似估计 以得到更少的参数或者更小的结构。小网络的参数由大网络的参数获得的。模型的压缩和加速的方法中，大致分为硬件加速和软件加速。用大网络的输出指导小网络的训练。
2023-03-09 00:13:57
148
原创 voc To yolov5-6.1数据集格式转换
本章节讲解的只有划分：训练集、验证集。createImageSet.py代码。vocToyolo的代码；
2022-12-09 19:52:18
433
原创 图像基础知识、深度学习基础知识以及相关问题
图像的高低频是对图像各个位置之间强度变化的一种度量方法.低频分量:主要对整副图像的强度的综合度量.高频分量:主要是对图像边缘和轮廓的度量.如果一副图像的各个位置的强度大小相等,则图像只存在低频分量,从图像的频谱图上看,只有一个主峰,且位于频率为零的位置.什么是图像轮廓图像轮廓是具有相同颜色或灰度的连续点的曲线. 轮廓在形状分析和物体的检测和识别中很有用。一条图像轮廓对应的是图像中一系列的像素点，这些点以某种方式表示图像中的一条曲线。边缘是不连续的，不是一个整体图像轮廓是将边缘连接起来。
2022-11-21 22:56:58
896
原创 项目申请理论理解---2022.8月
所以，综上所述，可以认为共性技术主要包括以下三方面：1、战略共性技术：处于竞争前阶段的，具有广泛应用领域和前景的，有可能在一个或多个行业中得以广泛应用的技术领域，如信息、生物、新材料等领域的基础研究及应用基础研究所形成的技术；从各国实践经验可以看出，支持共性技术研究作为一种政策工具，最重要的是抓住其经济和社会效益大、影响面广的特点，从本国国情出发，在不违反国际规则的前提下，支持本国产业进行共性技术研究，为提升国内产业竞争力奠定技术基础。的主要标志：具有特定的实际应用目的的研究属于应用研究。
2022-10-28 13:38:05
633
原创 git上传code文件到github上
1、进入本地项目目录，在目录中点击右键，会出现两个新选项，分别为Git Gui Here,Git Bash Here,，使用下面命令：git clone [email protected]:MSF2865963568/project.git。这个目录是Git用来跟踪管理版本库的，没事千万不要手动修改这个目录里面的文件，不然改乱了，就把Git仓库给破坏了。② git init ，初始化成功后你会发现项目里多了一个隐藏文件夹.git。3、把需要上传的代码，放入项目目录：project。2、 把github上面的。
2022-10-28 10:47:19
616
原创 论文名称：Outlier Suppression: Pushing the Limit of Low-bit Transformer Language Models--突破低比特量化瓶颈
该工作从这类模型的量化瓶颈-结构化异常值出发，探究了异常值的来源以及裁剪影响。【我的理解：本文的核心】针对这两方面【1、异常值的来源；2、裁剪影响】的发现，作者提出了Outlier Suppression framework（异常值抑制框架），其中包括Gamma Migration和Token-Wise Clipping两个组件来抑制异常值从而得到更好的量化精度。该框架能够即插即用，适合多种模型（BERT，RoBERTa，BART等）、多个任务（分类任务、问答任务，摘要生成任务等）。
2022-10-12 11:02:23
762
1
原创 windows下，pytorch ，用tensorboard进行可视化！
windows下tensorboard的操作以及遇到的几个问题，eg:问题1:import importlib_metadata as metadata。
2022-09-14 15:59:38
440
原创 轻量化---Project
基础知识点1、如何衡量网络的计算量？1.1 FLOPS和FLOPs的区别：1.2 如何计算网络模型中卷积层中乘法和加法的数量？FLOPs和MACs的区别是什么？1、如何衡量网络的计算量？卷积层计算占比非常大，所以一般而言主要考虑卷积的计算。1.1 FLOPS和FLOPs的区别：1.2 如何计算网络模型中卷积层中乘法和加法的数量？图中橙色的O(绿色中的O)是输出Feature Map的通道数。绿色的C是输入特征图的通道数，K是卷积核的尺寸（比如说3x3卷积，那么k=3）。绿色中的O与橙色的O一
2022-06-01 22:43:35
120
原创 从小白入手，从已经训练好的模型中取出weight权重参数绘制柱状图
从模型pt文件中取出权重参数，并绘制柱状图第一步：读取pt文件并查看字典中键的情况。第一步：读取pt文件并查看字典中键的情况。
2022-05-30 15:44:22
454
原创 AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKS
AND THE BIT GOES DOWN: REVISITING THE QUANTIZATION OF NEURAL NETWORKSABSTRACT补充知识：码本是什么？1 INTRODUCTION2 RELATED WORKLow-precision training.Quantization.Pruning.Dedicated architectures.(专用架构)3 OUR APPROACH3.1 QUANTIZATION OF A FULLY-CONNECTED LAYER（全连接层的量化）
2022-05-24 19:48:34
131
原创 Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
神经网络的量化与训练Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference（高效整数算术推理的神经网络量化与训练）----2017Abstract1. Introduction2. Quantized Inference2.1. Quantization scheme2.2. Integer-arithmetic-only matrix multiplication---整数矩阵
2022-05-23 15:11:50
1627
原创 Low-Power Computer Vision--第11章节
Low-Power Computer VisionChapter 11 Quantizing Neural Networks 235页Introduction11.2 QUANTIZATION FUNDAMENTALS（量化基础）11.2.1 Hardware Background（硬件背景）Chapter 11 Quantizing Neural Networks 235页 近年
2022-05-22 16:32:22
206
原创 2022-ICLR-Fixed-point 8bit only Multiplication for Network Quantization--仅需八位定点数乘法的网络量化方法
2022---ICLR---Fixed-point 8bit only Multiplication for Network Quantization--仅需八位定点数乘法的网络量化方法第一部分：论文翻译Abstract1、Introduction2、RELATED WORK3、ANALYSIS OF FIXED-POINT REPRESENTATION（定点表示分析）3.1、ADVANTAGES OF FIXED-POINT ARITHMETIC（定点算法的优点）3.2 STATISTICAL ANALY
2022-05-18 11:34:34
100
原创 DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKSWITH PRUNINGTRAINED QUANTIZATION ANDHUFFMANCODING
DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING: 深度压缩：用剪枝、训练量化和霍夫曼编码压缩深度神经网络ABSTRACT1 INTRODUCTION2 NETWORK PRUNING（网络剪枝----这部分暂时不看！！！）3 TRAINED QUANTIZATION AND WEIGHT SHARING（训练有素的量化和权重重共享）3.1 WEIG
2022-05-11 09:05:43
272
原创 2020:ZeroQ: A Novel Zero Shot Quantization Framework----一种新的零镜头量化框架
ZeroQ: A Novel Zero Shot Quantization Framework 未完待续！！Abstract1. Introduction2. Related work3. MethodologyAbstract 量化化是减少神经网络推理时间和内存占用的一种很有前途的方法。然而，大多数现有的量化方法都需要访问原始训练数据集进行再训练。对于具有敏感或专有数据的应用程序，这
2022-05-06 16:08:05
388
原创 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION--通过块级量化的8位优化器
2021: 8-BIT OPTIMIZERS VIA BLOCK-WISE QUANTIZATION---通过块级量化的8位优化器Abstract1 BACKGROUND1.1 STATEFUL OPTIMIZERS1.2 NON-LINEAR QUANTIZATION(非线性量化)1.3 DYNAMIC TREE QUANTIZATION（动态树量化）2 8-BIT OPTIMIZERS（8bit优化器）3 8-BIT VS 32-BIT OPTIMIZER PERFORMANCE FOR COMMON
2022-05-06 09:25:49
498
原创 2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS利用整数运算对卷积神经网络
2018：MIXED PRECISION TRAINING OF CONVOLUTIONAL NEURAL NETWORKS USING INTEGER OPERATIONS论文阅读---未完待续！！！Abstract1 INTRODUCTION2 RELATED WORK3 THE DYNAMIC FIXED POINT FORMAT（动态定点格式）3.1 DFP TENSOR PRIMITIVES（dfp张量原语）4 NEURAL NETWORK TRAINING USING DYNAMIC FIXED
2022-05-05 21:41:30
1018
原创 Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点：一种有效训练深度神
2017.:Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks:弯曲点：一种有效训练深度神经网络的自适应数值格式Abstract1 Introduction2 Related Work3 Flexpoint3.1 The Flexpoint Data Format3.2 Exponent Management（指数管理）3.3 Exponent Management Algorithm（
2022-05-05 20:26:40
135
原创 Q-BERT: Hessian Based Ultra Low Precision Quantization of BERT---Q-BERT：基于Hessian的超低精度BERT量化
论文标题：Flexpoint: An Adaptive Numerical Format for Efficient Training of Deep Neural Networks---弯曲点：一种有效训练深度神经网络的自适应数值格式Abstract1 Related WorkModel compression模型压缩Compressed NLP model2 Methodology2.1 Quantization process2.2 Mixed precision quantization2.3 Gr
2022-05-05 18:19:16
914
原创 Zero-shot Adversarial Quantization论文翻译+解读
Zero-shot Adversarial QuantizationAbstract新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入Abstract 模型量化是一种很有前途
2022-05-04 17:48:25
1515
原创 MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATIONAbstract1 INTRODUCTION2 PRELIMINARIES（准备工作）3 QUANTIZED DISTILLATION（量化蒸馏）4 DIFFERENTIABLE QUANTIZATION（可微量化）4.1 GENERAL DESCRIPTION（一般说明）5 COMPRESSION（压缩）6 EXPERIMENTAL RESULTS（实验结果）7 DISCUSSION（讨论）Abstra
2022-04-27 16:59:17
783
19中南软件复试回忆.docx
2022-05-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人