模型压缩与加速
文章平均质量分 96
剪枝,量化,架构搜索,实践经验
Edvard 的视界深度之旅
专注于图像,视频,图形相关技术
展开
-
GPU 资源紧张又想尝试神经架构搜索,试试 Once for All 吧(源码讲解)
之前的文章中讲到了轻量化网络架构的设计,也提到了模型压缩除了轻量化架构外,还有模型剪枝模型架构搜索模型架构搜索(NAS)也是一个非常有效的模型压缩方法,相比人工设计架构和剪枝,机器搜索架构更高效且效果更好,但是之前基于遗传和强化算法的模型架构搜索方法需要大量的 GPU 资源支持,且训练时间长,限制了 NAS 的应用,随着研究进展,出现了一些不那么耗时耗资源的方法。Once for All (简称 OFA)就是这样一种网络架构搜索方法,这里会结合论文+源码的方式来进行讲解首先,为了让大家更好的理原创 2021-08-07 21:57:11 · 905 阅读 · 1 评论 -
移动端轻量级卷积网络近三年进展(MobileNet V3, Blaze, GhostNet)- 附源码讲解
CNN 在图像分类,分割检测等领域获得广泛应用,在 PC 端运行模型虽然精度高,但参数量和算力都不是移动端的设备可以承受的,为了让深度学习模型可以在移动端高效的运行,目前业界主流的解决手段有三种。网络架构设计:思想在于设计能在移动端高效运行的轻量化网络架构(本文讲的算法都属于此手段)通道剪枝:对网络中的通道层进行重要性分析,裁剪重要程度低的层来降低网络的计算量模型搜索:给定搜索空间,使用强化,遗传等算法在搜索空间中找到满足给定计算量的模型架构这里主要介绍近三年比较出名的移动端轻量级网原创 2021-08-07 21:55:01 · 2108 阅读 · 0 评论