项目场景
命名实体识别模型转ONNX;
问题描述
命名实体识别,此处我分为编码部分和CRF层;
- 编码部分可转换成功;
- CRF部分,卡在了for循环上。
for i in range(x.size(0)):
x.size(0)
在模型中的含义是句子长度,这一维度是动态的,因此这个循环次数也应该是动态的,但是在转ONNX的时候需要给出一个例子,虽然设置了动态维度的参数,仍然没有起到作用,运行onnx进行infer时,这个for循环依然记得的是转onnx时的例子长度,导致最终结果与直接运行模型结果不一致。
解决方案
用torch.jit.script
封装range,可解决问题。
https://glaringlee.github.io/onnx.html#tracing-vs-scripting