利用OpenVINO加速深度学习模型推理：从概念到实践

最新推荐文章于 2024-10-04 05:48:08 发布

dsndnwfk

最新推荐文章于 2024-10-04 05:48:08 发布

阅读量348

点赞数 5

文章标签： openvino 深度学习人工智能 python

本文链接：https://blog.csdn.net/dsndnwfk/article/details/142684110

版权

# 利用OpenVINO加速深度学习模型推理：从概念到实践

## 引言

OpenVINO™是一个开源工具包，专注于优化和部署AI推理。借助OpenVINO Runtime，您可以在多种硬件设备上运行相同优化后的模型，加速包括语言模型（LLMs）、计算机视觉、自动语音识别等各种使用场景下的深度学习性能。本篇文章将详细介绍如何使用OpenVINO进行深度学习模型的部署和优化。

## 主要内容

### OpenVINO模型加载

首先，您需要安装`optimum-intel` Python包及其依赖：

```bash
%pip install --upgrade-strategy eager "optimum[openvino,nncf]" langchain-huggingface --quiet

然后，我们可以使用from_model_id方法加载模型：

from langchain_huggingface import HuggingFacePipeline

ov_config = {"PERFORMANCE_HINT": "LATENCY", "NUM_STREAMS": "1", "CACHE_DIR": ""}

ov_llm = HuggingFacePipeline.from_model_id(
    model_id="gpt2",
    task="text-generation",
    backend="openvino",
    model_kwargs={"device": "CPU", "ov_config": ov_config},
    pipeline_kwargs={"max_new_tokens": 10},
)

创建推理链

加载模型后，可以与提示文本结合形成推理链：

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | ov_llm

question = "What is electroencephalography?"
print(chain.invoke({"question": question}))

本地OpenVINO模型推理

可以将模型导出为OpenVINO IR格式，并从本地文件夹加载模型：

!optimum-cli export openvino --model gpt2 ov_model_dir

建议使用8位或4位量化以减少推理延迟：

!optimum-cli export openvino --model gpt2 --weight-format int8 ov_model_dir
!optimum-cli export openvino --model gpt2 --weight-format int4 ov_model_dir

加载本地模型：

ov_llm = HuggingFacePipeline.from_model_id(
    model_id="ov_model_dir",
    task="text-generation",
    backend="openvino",
    model_kwargs={"device": "CPU", "ov_config": ov_config},
    pipeline_kwargs={"max_new_tokens": 10},
)

chain = prompt | ov_llm
question = "What is electroencephalography?"
print(chain.invoke({"question": question}))

使用流式输出

通过stream方法可以获得模型的流式输出：

generation_config = {"skip_prompt": True, "pipeline_kwargs": {"max_new_tokens": 100}}
chain = prompt | ov_llm.bind(**generation_config)

for chunk in chain.stream(question):
    print(chunk, end="", flush=True)