机器学习论文:Robustness Analysis of Deep Learning Frameworks on Mobile Platforms

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进

Robustness Analysis of Deep Learning Frameworks on Mobile Platforms 

本文为University of Calgary, Canada在2021.09.21更新的文章，主要对比tensorflowlite和pytorch mobile在不同平台和配置参数条件下Robustness情况，具体文件链接https://arxiv.org/pdf/2109.09869.pdf

（本文与语音无关，主要扩展阅读）

对于流行深度学习框架（tensorflow, pytorch等等）的对比研究往往在准确度、速度等指标。本文的对比研究主要对比tensorflow lite和pytorch mobile在robustness的效果。

对比嵌入式框架：

        TensorFlow Lite和pytorch Mobile

对比任务：

        图片分类

对比模型架构：

        MobileNet V2, ResNet50和Inception V3

对比方法Adversarial Attacks：

    Fast Gradient Sign Method (FGSM),Basic Iterative Method (BIM)和Boundary Attack

文章解答的三个问题

第一个问题：tensorflow lite和pytorch mobile在移动设备上的稳健性

RQ1: How robust DL frameworks are on mobile? This RQ aims to compare TensorFlow Lite and PyTorch Mobile when running on mobile by assessing their robustness against well-known adversarial attacks. 

第二个问题：PC和移动设备平台对稳健性的影响

RQ2: How does mobile DL frameworks’ robustness compare to their PC equivalent? In this RQ, we compare the robustness results of DL frameworks on PC vs. mobile platforms. 

第三个问题：模型量化对稳健性的影响

RQ3: What is the effect of quantization on the robustness of models? In this RQ, we will study the quantization’s effect by repeating the experiment designed for RQ1, but this time with the quantized models.

原始数据参数如table 1

评价指标为success rate，其值越高，robustness越差

​

第一个问题：tensorflow lite和pytorch mobile在移动设备上的稳健性

结论：Fig 2的实验结果说明tensorflowlite和pytorch mobile的robustness没有好坏之分，robustness跟模型结构和attack类型有关。Table 2说明tensorflow lite比pytorch mobile的速度快。

第二个问题：PC和移动设备平台对稳健性的影响

结论：Fig3和Table3在PC上得出和第一个实验相同的结论。Fig4对比PC和移动平台Android对比情况，结论为平台对robustness没有影响。

第三个问题：模型量化对稳健性的影响

结论：Fig5展示量化后的robustness更好，table4展示pytorch mobile的量化效果比tensorflow lite较好。

本文对比了tensorflow lite和pytorch mobile在robustness上的表现​：robustness跟系统和平台无关，主要跟模型架构有关​。量化可以提高robustness和​推理速度。