这里主要讲推理,我们关注的基础中的基础对吗
重点提炼:
1.
bindings
是
tensorRT
对输入输出张量的描述,
bindings = input-tensor + output-tensor
。比如
input
有
a
,
output
有
b, c, d
,那么
bindings = [a, b, c, d]
,
bindings[0] = a
,
bindings[2] = c
。此时看到
engine->
getBindingDimensions
(0)
你得知道获取的是什么
2.
enqueueV2
是
异步推理
,加入到
stream
队列等待执行。输入的
bindings