【无标题】

c dMobilenetsv1 （google轻量化模型）

轻量化模型的背景

​ 近年来的深度学习模型，在准确度逐渐提升，2015年的ResNet模型准确度比人类能力强；同时，模型也越来越大，不便于在算力较差，内存较小的设备上部署。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6bE8KsA3-1666231152401)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210190945629.png)]

​ 为何要在终端部署？

1. 实时性强

   与云端推理相比，没有对网络的要求，不需要考虑网络延迟，适用于一些实时性要求高的场景，比如 自动驾驶， 车辆检测。

2. 安全性强

   与云端推理相比，不需要担心数据被不法窃取。比如对人脸数据、支付数据、医疗数据等等敏感数据。

​ 为什么提出此轻量化模型？

​ 终端模型部署对终端设备的算力和内存等都有要求。一些大的模型在算力差，内存小的设备上推理速度慢，甚至无法部署（常见的内存小）。轻量化模型是为了解决边缘终端实时计算问题。文章提出了优化卷积计算的方法，提出了深度可分离卷积。

​ 但是轻量化模型也容易被欺骗，需要对抗学习。

轻量化卷积神经网络综述

​ 从下面的两幅图上可以看出，前向推理时间主要是用在了卷积操作上面。而且随着batch size 越大， 卷积操作占前向推理的时间的比例越大。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WNCa6dzG-1666231152402)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210190957341.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HiOCshRY-1666231152403)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210190926580.png)]

大的模型意味着将更多的 数据从内存读到gpu，费时，消耗 大量能量。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eyyRaxLe-1666231152404)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192106344.png)]

模型轻量化的四个方向

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wCa0dXG0-1666231152404)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192109346.png)]

网络模型的对比

算力和准确度

横坐标：推理模型需要的算力，

纵坐标：准确度

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7EIUs1qN-1666231152405)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192122337.png)]

单位参数量对准确度的贡献

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8yB4XMqD-1666231152406)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192124222.png)]

深度可分离卷积

传统卷积

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LDFq8xY1-1666231152407)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192131069.gif)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1ZnAYEBX-1666231152407)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192134840.gif)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-txqjD11P-1666231152408)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192136318.png)]

深度可分离卷积

• 第一步

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6i8ONWZH-1666231152409)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192138044.png)]

• 第二步 跨通道融合

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OTdPaMxp-1666231152410)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192141989.png)]

总的来说

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mdpau7Hj-1666231152411)(https://menglei-image.oss-cn-beijing.aliyuncs.com/img202210192142142.png)]

$$深度可分离卷积=深度卷积+逐点卷积$$

$$depthwiseseparableconvolution=depthwiseconvolution+pointwiseconvolution$$

分组卷积

深度可分离卷积是分组卷积的特例。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wvIyIrbo-1666231152411)(…/…/…/…/Library/Application%20Support/typora-user-images/image-20221020085402671.png)]

深度可分离卷积的参数量和计算量分析

标准卷积的计算量

$$D_K:卷积核的长宽$$

$$M:卷积的通道数$$

$$N:输出feature的通道数$$

$$D_F:输出feature的长宽$$

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EfmGxjAL-1666231152412)(…/…/…/…/Library/Application%20Support/typora-user-images/image-20221020085843320.png)]

深度可分离卷积的计算量

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1AQ9vv1W-1666231152412)(…/…/…/…/Library/Application%20Support/typora-user-images/image-20221020092009345.png)]