openvino 大模型qwen2.5推理案例

loong_XL

已于 2024-10-07 21:45:25 修改

阅读量367

点赞数 8

分类专栏：深度学习文章标签： openvino 人工智能

于 2024-10-07 16:19:41 首次发布

本文链接：https://blog.csdn.net/weixin_42357472/article/details/142741335

版权

深度学习专栏收录该内容

302 篇文章 171 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

参看：
https://github.com/openvinotoolkit/openvino.genai/releases/tag/2024.4.0.0

https://github.com/TommyZihao/openvino_tonypi/blob/main/OpenVINO-0911/AIPC%E4%BB%A3%E7%A0%81/%E3%80%90B1%E3%80%91%E4%B8%89%E8%A1%8C%E4%BB%A3%E7%A0%81%E5%BC%80%E5%90%AF%E5%A4%A7%E6%A8%A1%E5%9E%8B%E5%AF%B9%E8%AF%9D.ipynb、

安装
https://docs.openvino.ai/2024/get-started/install-openvino/install-openvino-genai.html

python -m pip install openvino-genai  optimum[openvino]

下载模型：

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download --resume-download --local-dir-use-symlinks False Qwen/Qwen2.5-1.5B-Instruct --local-dir qwen2.5-1.5b

模型转换：
参数参看https://huggingface.co/docs/optimum/intel