MNN笔记

一 MNN相关的笔记
1.1 getApprociateType 函数
功能:确定了banckend的类型
1.2 _scheduleUnit函数
功能:确定了pipeline info 的信息
1.3 generateScheduleGraph函数
功能:用于寻找output的计算路径,因为图并不是所有结点都需要计算的,所以只需要找到和计算生成output的节点依赖就可以了
1.4 梳理PipelineInfo里op的input/output
遍历Pipeline里的所有op,找到Pipeline中的input和output tensor
把传进来的save tensor也加如output tensor 集合
生成tensor名并找到在map中的tensor映射
1.5 session的构造函数
功能:取出Schedule Info 里的内容和创建backend
主要信息有
mRuntime:透传的RuntimeInfo
mTensors :全部tensor
mPipelines:vector
mInputs / mOutputs: 输入输出
mCallBackMode:透传,来自mNet->callBackMode

1.6 Pipeline的定义及构造函数
Pipeline的含义是记录从输入结点到输出节点的整个计算路径,路径上经过的结点使用unit对象表示
1.7 unit对象
由op,input,output组成
1.8 Pipeline 的构造函数
创建uint对象数组,uint数组就表示整个计算路径
1.9 session resize操作
把Pipeline中的uint全部prepare一遍
准备内存空间
1.10 uint的prepare方法做了什么事情
检查unit的输入合法性并且分配内存
computOutputSize方法:计算input,output tensor的shape
根据banckend创建execution执行环境并且准备内存空间

1.11 session创建过程总结
session对象构造,需要的参数为Schedule Info
Schedule Info 的Schedule函数创建比较复杂
初始化所有的tensor
根据配置构造Backend
如果配置中有指定input,output,只取相关的结点生成Pipeline,否则用模型本身的intput,output生成Pipeline
对Pipeline中涉及的op的input,output进行梳理
构造session对象
初始化session
1.12 tensor的定义
tensor的含义就是代表神经网络中的数据块,软件的本身就是数据和算法的一个集合,在神经网络中,tensor就是数据,op及op构成的graph就是算法,tensor有两类,一类是host类型,数据分配在主内存中,device类型,数据有banckend分配。
1.13 数据的填充
对于host类型的tensor,数据可以直接赋值,而其他的数据填充需要copy
1.14 CopyFromHost函数
将数据从device端拷贝到host端内存,具体实现是通过backend的onCopyBuffer函数实现。

1.15 session的运行
对创建的Pipeline逐个执行,调用其execute函数,该函数的核心部分是执行Pipeline中unit的execuet函数,uint中的execute函数包装了onexecute函数。

1.16 execution是怎么创建的
execution是由backend提供来执行op的,需要以input,output和op为参数。

1.17 获取输出结果
当session执行完毕时,output tensor中就保存了执行的结果,直接读取就可以了,从tensor上取数据,对于CPU banckend的tensor,直接用buffer上的数据。
1.18 session小结
一个session里面可以包含很多个pioeline,但是通常只有一个pipeline,由多少个pipeline由schedule config决定,一个pipeline中包含uint数组,,每个uint代表一个op运算,每个op运算都由一个具体的execution实例执行。

1.19 Backend::Info内容
其中,后端描述信息Backend::Info内容如下:
/** info used to create backend /
struct Info {
/
* forward type. /
MNNForwardType type = MNN_FORWARD_CPU;
/
* for CPU only. number of threads. /
int numThread = 4;
/
* user data. /
BackendConfig
user = NULL;
enum Mode {
// The Op will be run in execution->onExecute
DIRECT = 0,

        // The Op will be recorded. Run in onExecuteBegin and Wait in onExecuteEnd
        INDIRECT
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值