自定义 bert 在 onnxruntime 推理错误：TypeError: run(): incompatible function arguments

szZack

已于 2024-01-11 13:36:34 修改

阅读量1.2k

点赞数 12

分类专栏：人工智能深度学习自然语言处理文章标签： bert 人工智能 onnxruntime

于 2024-01-09 12:22:26 首次发布

本文链接：https://blog.csdn.net/zengNLP/article/details/135477431

版权

人工智能同时被 3 个专栏收录

110 篇文章 9 订阅

订阅专栏

深度学习

94 篇文章 10 订阅

订阅专栏

自然语言处理

36 篇文章 8 订阅

订阅专栏

本文讲述了如何处理在使用自定义BERT模型进行ONNXRuntime推理时遇到的TypeError，关键在于将PyTorchTensor转换为numpy数组以适应运行要求。

摘要由CSDN通过智能技术生成

自定义 bert 在 onnxruntime 推理错误：TypeError: run（）: incompatible function arguments

自定义 bert 在 onnxruntime 推理错误：TypeError: run(): incompatible function arguments
解决方法
- 核对参数
- 修改代码

自定义 bert 在 onnxruntime 推理错误：TypeError: run(): incompatible function arguments

推理代码

    # text embedding
    toks = self.tokenizer([text])
    if self.debug:
        print('toks', toks)

    text_embed = self.text_model_session.run(output_names=['output'], input_feed=toks)

错误提示

Traceback (most recent call last):
  File "/xx/workspace/model/test_onnx.py", line 90, in <module>
    res = inferencer.inference(text, img_path)
  File "/xx/workspace/model/test_onnx.py", line 58, in inference
    text_embed = self.text_model_session.run(output_names=['output'], input_feed=toks)
  File "/xx/miniconda3/envs/py39/lib/python3.9/site-packages/onnxruntime/capi/onnxruntime_inference_collection.py", line 220, in run
    return self._sess.run(output_names, input_feed, run_options)
TypeError: run(): incompatible function arguments. The following argument types are supported:
    1. (self: onnxruntime.capi.onnxruntime_pybind11_state.InferenceSession, arg0: List[str], arg1: Dict[str, object], arg2: onnxruntime.capi.onnxruntime_pybind11_state.RunOptions) -> List[object]

Invoked with: <onnxruntime.capi.onnxruntime_pybind11_state.InferenceSession object at 0x7f975ded1570>, ['output'], {'input_ids': array([[ 101, 3899,  102]]), 'token_type_ids': array([[0, 0, 0]]), 'attention_mask': array([[1, 1, 1]])}, None

核心错误

TypeError: run(): incompatible function arguments. The following argument types are supported:
    1. (self: onnxruntime.capi.onnxruntime_pybind11_state.InferenceSession, arg0: List[str], arg1: Dict[str, object], arg2: onnxruntime.capi.onnxruntime_pybind11_state.RunOptions) -> List[object]

解决方法

核对参数

arg0: List[str]
arg1: Dict[str, object]

对应的参数

output_names=['output'], input_feed=toks

arg0=[‘output’] 参数类型正确
arg1=toks 表面看参数也正常，打印看看toks的每个值的类型

type(toks[‘input_ids’]) 输出为 <class ‘torch.Tensor’>，实际需要输入类型为 <class ‘numpy.ndarray’>

修改代码

    # text embedding
    toks = self.tokenizer([text])
    if self.debug:
        print('toks', toks)
    
    text_input = {}
    text_input['input_ids'] = toks['input_ids'].numpy()
    text_input['token_type_ids'] = toks['token_type_ids'].numpy()
    text_input['attention_mask'] = toks['attention_mask'].numpy()
    text_embed = self.text_model_session.run(output_names=['output'], input_feed=text_input)

再次执行代码，正常运行，无报错！！