tensorflow lite手机端移植记录

最近在研究怎么将服务器跑的模型移植到手机端,需要一些问题记录下~

前提知识:

1)熟悉 Graph、GraphDef和MetaGraphDef的含义和区别

2)熟悉tf lite官网上的文档,包括python api和命令行CLI的使用方法(lite converter和lite interpreter)

3)熟悉quantization_aware traning的官网示例(区别于post quantization)

4)熟悉mobilenet_v1官方的train和eval示例

 

如果熟悉了上面的前提知识,那么手机端lite移植也就不难了~

步骤:

1)使用quantization_aware的方式训练模型(quant delay延迟加载)得到checkpoint文件。(包含模型变量的参数值)

2)将train graph转为eval graph。(模型图的前向传播图,只包含结果,不包含参数值)

3)基于eval graph,得到frozen graph(freeze_graph命令行工具),将变量转为常量~。(将ckpt文件中变量值附加到前向传播图中,作为参数常量存在,也就是“frozen”的意思[将变量冻结为常量]~)

4)调用toco命令行工具,将frozen graph转为lite graph(指定输入和输出的name、输入的大小、inference的输入和输出类型、GraphDef或其他包含GraphDef的格式文件等等)。

 

采坑:

1)量化的graph目标不是train graph,而是eval graph

2)python api方式转为lite一直报错,转为freeze_graph+toco解决

3)freeze_graph和toco命令行的参数说明

4)input_shape要前后始终统一

5)要熟悉Graph、GraphDef、MetaGraphDef等区别

6)熟悉summary.save、savedModel、save_graph_def和export_meta_graph等api的区别

7)熟悉tf的整个流程,深刻理解tensor和operation的作用和地位

8)post quantization和quantization-aware训练模型,量化处理的方式不一样(详情见tf官方文档)

 

如何保证量化之后的精度:

待定~

 

更多学习笔记可以关注我的微信公众号「kelly学挖掘」,欢迎交流。

-- over --

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值