模型优化
文章平均质量分 79
JaJaJaJaaaa
尽力而为
展开
-
模型优化论文笔记6----MobileNets采用深度可分离卷积在权衡精度的同时减小模型尺寸和时延
《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》论文地址:https://arxiv.org/abs/1704.04861MXNet框架代码:https://github.com/miraclewkf/mobilenet-MXNet1.主要思想介绍了两种简单的全局超参数用以平衡时延和准确率,构建出尺寸较小、时延较低的模型用以匹配移动嵌入式设备。本篇着重于优化时延的同时产出小型网络原创 2021-03-31 19:11:56 · 1023 阅读 · 0 评论 -
模型优化论文笔记5----采用shuffled block和group convolutional的MBNet(71K)用于AMC
1.主要思想:提出一种MBNet网络,应用于AMC。网络由一系列带有残差连接的shuffle blocks(混洗块?)模块组成,每一个block由grouped convolutional layers分组卷积层和一个shuffling module组成。channel shuffling module是为了避免分组卷积层的无效组交互问题而提出的。除此之外,通过元素附加层从IQ信号中学习时空特征,建立从每一个混洗模块的输入到对应输出的残差连接。实验基于RadioML2018.01A数据集。2.背景:物原创 2021-01-17 21:25:20 · 903 阅读 · 1 评论 -
模型优化论文笔记4----保持准确性的同时得到更少参数的模型SqueezeNet
1 参考文献:论文地址:https://arxiv.org/pdf/1602.07360.pdf项目地址:https://github.com/DeepScale/SqueezeNet2 主要思想:保持准确性的同时得到更少参数的模型。提出Fire module,包含squeeze layer和expand layer。从微架构和宏架构两个角度探索Fire module内部和module之间的联系对accuracy的影响。将SqueezeNet与Deep Compression结合,实现模型尺寸原创 2021-01-12 15:38:36 · 400 阅读 · 0 评论 -
模型优化论文笔记3----应用稀疏正则化训练和结构化剪枝进行模型压缩
1 参考文献:[1]韦越,陈世超,朱凤华,熊刚.基于稀疏卷积神经网络的模型剪枝方法[J/OL].计算机工程:1-8[2021-01-10].https://doi.org/10.19678/j.issn.1000-3428.0059375.2 主要思想:通过对模型进行稀疏正则化训练,得到参数较为稀疏的深度神经网络模型,并结合卷积层和 BN层的稀疏性进行结构化剪枝,去除冗余的滤波器。3 背景:神经网络的过度参数化(一文献表明模型中仅5%的网络参数可预测剩余参数)模型剪枝:剪除不重要参数,压缩模型体原创 2021-01-10 22:58:54 · 2186 阅读 · 2 评论 -
模型优化论文笔记2----将高效卷积用于嵌入式平台和iphone实现实时检测
参考文献:《Pelee: A Real-Time Object Detection System on Mobile Devices》Code: https://github.com/Robert-JunWang/Pelee提出的 PeleeNet,通过设计高效的卷积方式并与移动设备硬件的运行库结合, 能够对移动设备上的目标检测、图像分类等任务进行实时预测. 使用 PeleeNet 在 iphone8 上实现目标检测任务, 可达到 23.6 FPS(Frames PerSecond, 每秒传输帧数),原创 2020-12-30 12:05:08 · 197 阅读 · 0 评论 -
模型优化论文笔记1----综述
之前在做基于深度神经网络的自动调制识别,然而设计的网络模型参数大,这阻碍了将模型部署到边缘设备,实现调制识别的真正落地。由此是否能够将网络模型进行优化,缩小其存储呢?博主接下来的一段时间要调研一下这个问题。先是看了一篇综述,希望对现有或以往的模型优化有个大概了解。[1]赖叶静,郝珊锋,黄定江.深度神经网络模型压缩方法与进展[J].华东师范大学学报(自然科学版),2020(05):68-82.Introduction背景:DNN的高内存消耗与高计算量限制了其在有限资源的硬件平台上的部署,也不能满足实原创 2020-12-30 11:49:57 · 590 阅读 · 0 评论