onnx 简化 onnxruntime

 目录

简化工具安装：

onnxsim简化 python代码：

onnxsim简化命令：

onnxruntime

工具安装：

---

简化工具安装：

    pip install onnx-simplifier

onnxsim简化 python代码：

import onnx

onnx_model_name =r'face_landmark_with_attention_z_left.onnx'
try:
    import onnxsim

    onnx_model = onnx.load(onnx_model_name)  # load onnx model
    print('\nStarting to simplify ONNX...')
    onnx_model, check = onnxsim.simplify(onnx_model)
    assert check, 'assert check failed'
except Exception as e:
    print(f'Simplifier failure: {e}')

onnxsim简化命令：

python -m onnxsim face_landmark_1.12_left.onnx  aa_sim.onnx

 控制台有简化的结果

onnxruntime

opencv dnn onnx 性能优化有时能达到16-10倍，但是cpu占用较高

opencv的对平均池化，上采样不支持，可能是onnx版本低，比如11

onnxruntime优化本身能达到10-14倍，cpu占用稍微低一点

工具安装：

onnxruntime-1.1.1

pip install onnxruntime # CPU build

pip install onnxruntime-gpu # GPU build

下载地址,支持32位，是动态库，不是python的

https://www.ctolib.com/article/releases/119310

这个也有x86的

https://github.com/Microsoft/onnxruntime/releases/tag/v1.1.0

c++调用demo：

https://github.com/microsoft/onnxruntime/blob/master/csharp/test/Microsoft.ML.OnnxRuntime.EndToEndTests.Capi/CXX_Api_Sample.cpp