48.现有移动端开源框架及其特点—MDL（mobile-deep-learning）

48.1 功能特点

• 一键部署，脚本参数就可以切换ios或者android
• 支持iOS gpu运行MobileNet、squeezenet模型
• 已经测试过可以稳定运行MobileNet、GoogLeNet v1、squeezenet、ResNet-50模型
• 体积极小，无任何第三方依赖。纯手工打造。
• 提供量化函数，对32位float转8位uint直接支持，模型体积量化后4M上下
• 与ARM相关算法团队线上线下多次沟通，针对ARM平台会持续优化
• NEON使用涵盖了卷积、归一化、池化所有方面的操作
• 汇编优化，针对寄存器汇编操作具体优化
• loop unrolling 循环展开，为提升性能减少不必要的CPU消耗，全部展开判断操作
• 将大量繁重的计算任务前置到overhead过程

48.2 框架结构

• MDL 框架主要包括：
  • 模型转换模块（MDL Converter）
  • 模型加载模块（Loader）
  • 网络管理模块（Net）
  • 矩阵运算模块（Gemmers）及供 Android 端调用的 JNI 接口层（JNI Interfaces）
• 其中，模型转换模块主要负责将Caffe 模型转为 MDL 模型，同时支持将 32bit 浮点型参数量化为 8bit 参数，从而极大地