Deep Learning Paper读后简记

最新推荐文章于 2022-01-27 22:55:28 发布
最新推荐文章于 2022-01-27 22:55:28 发布
阅读量2.6k 收藏
点赞数
分类专栏： paper阅读 文章标签： 深度学习 机器学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li6016265/article/details/121894554
版权
博主分享了深度学习领域的论文阅读心得，重点关注了量化、剪枝、分割和神经架构搜索等方面。文中提到，针对量化问题，研究提出通过KURTosis Regularization改善模型的鲁棒性；在剪枝领域，采用可微的极化门函数稳定神经网络的结构优化；在分割任务中，介绍了一种双支路结构的实时语义分割模型；在NAS方面，讨论了将量化感知与结构搜索结合的新方法。
摘要由CSDN通过智能技术生成

发现自己看完paper，总是很快就会被大脑删档，特此进行专栏记录，希望能够持续更新---

Quantization

Robust Quantization: One Model to Rule Them All paper code **

针对于目前的qat等方法所得到的模型对于不同的量化参数设置太敏感的问题，提出训练一个足够robust的模型，能够普适地用于不同场景下的不同量化超参。文中证明了uniform的权重分布相比于一般的normal的权重分布更加robust更加抗噪，提出通过引入 KURE(KUrtosis REgularization) 的loss，能够使得网络参数向着uniform distribution的方向学习，从而获得更加robust的模型。实验证明对于PTQ和QAT都极大提高了鲁棒性，但在最高精度上并不占优。

Fully Quantized Network for Object Detection. paper *

本文主要研究方向是全量化的检测模型，主要针对目前的有些量化方法未考虑网络中所有层的量化操作而导致的精度和速度方面的影响，以及目前检测任务在较大压缩比（4bit）时的不稳定和不收敛问题。文章通过监测4bit 量化后ft过程中w/a的数据分布，发现不稳定问题主要是来源于BN等层的影响，和部分aactivation中的离散值影响，以及layer-wise量化对不同channel的不友好。因此提出了一些改进方法，例如在ft中冻结BN的参数，对activation进行normalize,丢弃异常值，channel-wise量化等操作。文章整体更像是工程改进，但对于数据分布的分析及结论还是比较有意义的。

Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks

最低0.47元/天 解锁文章
星月野
关注
专栏目录
视频超分重建综述 |Video Super Resolution Based on Deep Learning: A Comprehensive Survey | 翻译简记
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
01-20 1534
视频超分重建综述 有道翻译 该综述其它可参考链接：https://zhuanlan.zhihu.com/p/342225916 Video Super Resolution Based on Deep Learning: A Comprehensive Survey 论文链接： https://arxiv.org/pdf/2007.12928.pdf Abstract 近年来，深度学习在图像识别、自然语言处理、语音识别和视频超分辨率等领域取得了长足的进展。 在本研究中，我们综合研究了33种最先进的基.
DeepLearning tutorial（1）Softmax回归原理简介+代码详解
wepon的专栏
01-26 3万+
DeepLearning tutorial（1）Softmax回归原理简介+代码详解 @author：wepon @blog：http://blog.csdn.net/u012162613/article/details/43157801 本文介绍Softmax回归算法，特别是详细解读其代码实现，基于python theano，代码来自：Classifying MNIST
2019 CVPR 目标检测 论文简述整理
qq_37705280的博客
04-07 1110
2019 CVPR （40篇） 题目 发表单位 针对问题 创新点 性能 Activity Driven Weakly Supervised Object Detection 活动驱动的弱监督目标检测 南加利福尼亚大学 ...
CVPR学习（四）：CVPR2019-目标检测
TheDayIn_CSDN的博客
07-03 6246
一阶段算法 一种从零开始训练的目标探测器 ScratchDet，充分利用原始图像信息的 Root-ResNet，结合 ResNet 与 VGGNet 加强对小目标的检测 京东 AI 研究院、中国科学院、中山大学 ScratchDet: Training Single-Shot Object Detectors from Scratch Rui Zhu, Shifeng Zhang, ...
Paper Reading||Distance-aware Quantization
Mr_Menace的博客
01-27 3745
1. 使用 STE，虽然使得Round操作处处可导(梯度为1)，但会引入梯度不匹配、不合理的问题。 2. 软量化器(Soft Quantizer)方法虽然能有效改进梯度不匹配问题，但从软量化器直接“跳变”为硬量化器会带来 Quantizer Gap 问题。 3. 在软量化器中引入能够逐渐增大的 Temperature 参数，虽然能缓解 Quantizer Gap 问题，但又会导致梯度流变得不稳定。
模型量化知识
Json111的博客
09-02 571
什么是模型量化 在CV、DL的语境下： 模型：特指卷积神经网络（用于提取图像/视频视觉特征） 量化：将信号的连续取值近似为有限多个离散值的过程。 模型量化有什么好处 压缩参数 提升速度 降低内存占用 模型量化对速度的影响 许多量化算法都无法提升速度。 理论峰值性能：单位时钟周期内能完成的计算个数 * 芯片频率 什么样的量化方法可以带来潜在的、可落地的速度提升： 该量化数的计算在系统上峰值性能更高 引入的额外计算少 目前已知提速概率较大的量化方法： 二值化 xnor + popcount理论峰值
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 6万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
简记个人博客源码免费分享
05-09
简记个人博客网站源码为博主现有博客网站，前端采用LayUI框架，此分享版本为asp + access。所有功能齐全，欢迎使用。 使用方法：上传至空间或服务器，通过IIS发布网站即可。 演示地址：...
PIC单片机C语言简记
08-18
【PIC单片机C语言简记】 在嵌入式系统开发中，PIC单片机以其高效能、低功耗的特点广泛应用于各种控制系统。PICC编译器是针对Microchip公司的PIC系列微控制器的一种C语言编译器，它可以无缝对接MPLAB-IDE集成开发...
Training Quantized Neural Networks with a Full-precision Auxiliary Module
星辰的博客
06-23 977
文章目录Training Quantized Neural Networks with a Full-precision Auxiliary ModuleIntroductionMethodExperiment Training Quantized Neural Networks with a Full-precision Auxiliary Module 文章链接 Introduction 作者认为，量化模型性能下降的主要原因在于在训练过程中，quantizer是不可导的，无法直接使用SGD来优化网络。目
北航数值分析大作业_CVPR 2020丨8比特数值也能训练模型？商汤提出训练加速新算法...
weixin_39907713的博客
12-06 360
本文转自AI科技评论。本文介绍的是CVPR2020入选论文《Towards Unified INT8 Training for Convolutional Neural Network》，作者为商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队。作者 | 商汤编辑 |丛末论文地址：https://arxiv.org/pdf/1912.12607.pdf在CVPR 2020...
LCDet：Low-Complexity Fully-Convolutional Neural Networks for Object Detectionin Embedded Systems
时光机 °的博客
10-03 234
全文概括   本文的基本网络框架是YOLO，但用两层 conv 代替 两层 fc 。然后用 8-bit 量化了训练好的网络权重。 Introduction    8-bit 量化回归任务，会比量化分类任务更容易造成精度下降。   经过试验显示，本文方法（量化后）的最高检测率比量化前的只低不到 1 2%1~2\%1 2%，但在帧率上达到了 202020x 倍的提升。   YO...
CVPR2020 | 8比特数值也能训练模型？商汤提出训练加速新算法
AI算法修炼营的博客
04-18 615
点击上方“AI算法修炼营”，选择加星标或“置顶”标题以下，全是干货本文转自：商汤科技计算机视觉顶会CVPR 2020将于6月14日-19日在美国西雅图举行，今年的论文录取率降至22.1%...
【论文阅读笔记】Deep Neural Networks for Object Detection
时光机 °的博客
07-11 1562
论文背景   该论文发布于2013年，此时DNNDNNDNN在图像分类任务上表现很好，但未曾在目标检测上有建树。在这论文之前的目标检测多用DPM（Deformable Part-base Model，基于部件的可变形模型），DPM模型是基于精心设计的表示以及基于流体的对象分解的图模型，利用判别图模型去构建检测的对象。该文章提出了一种基于多尺度推断的网络实现目标检测，但后面一些解决某些问题的方案，...
8比特数值也能训练模型？商汤提训练加速新算法丨CVPR 2020
AI科技大本营
04-10 2273
出品 | AI科技大本营（ID:rgznai100）在CVPR 2020上，商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队合作提出了用于加速卷积神经网络训练过程的INT8...
文献阅读（90）
tiaozhanzhe1900的博客
06-10 470
文章目录1 abstract & introduction2 方法1 abstract & introduction2 方法3 实验 题目：Two-Step Quantization for Low-bit Neural Networks 时间：2018 会议：CVPR 研究机构：中科大/阿里 参考博客：https://blog.csdn.net/qq_19784349/article/details/83931420 参考博客：https://blog.csdn.net/JachinMa
LCDet Low-Complexity Fully-Convolutional Neural Networks for Object Detection in Embedded Systems
TJMtaotao的博客，高校计算机教师
11-29 1176
Subarna Tripathi UC San Diego∗ stripathi@ucsd.edu Byeongkeun Kang UC San Diego bkkang@ucsd.edu V asudev Bhaskaran Qualcomm Inc. vasudevb@qti.qualcomm.com Truong Nguyen UC San Diego tqn001@eng.ucsd.edu...
论文阅读-《Deformable Part-based Fully Convolutional Network for Object Detection》
yj_isee的博客
07-20 2301
BMVC 2017 OralAbstract文章指出当前的object detector大都用正框来表征一个object，尽管大多数的object都是non-rectangular的。作者提出的模型能够通过deformable parts来表述一个object。这样的话得到的特征对于物体的形变更加具有鲁棒性，并且能够part的位置信息能够提高目标定位的准确性。Contribution:1.提出了de
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Django数据库API：pk简记法与LIKE语句转义
为了简化编程，Django提供了一种名为`pk`的简记法来处理主键相关的查询操作。 在标题提到的`pk简记法`中，我们可以看到以下几点关键知识点： 1. **查询主键**：当你需要根据主键进行查询时，可以使用`pk`代替`id`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值