OpenVINO 2024.4发布，支持更多新特性!

算力魔方AIPC

已于 2024-09-28 23:11:06 修改

阅读量405

点赞数 17

文章标签： openvino 人工智能

于 2024-09-25 15:51:21 首次发布

本文链接：https://blog.csdn.net/2401_83179994/article/details/142521672

版权

OpenVINO™在2024年9月19日再次迎来重大更新，发布了OpenVINO™ 2024.4版本，不仅扩大了对生成式人工智能（Gen AI）的覆盖范围和框架集成，还引入了一系列新特性和优化，旨在最小化代码更改，提升性能和便携性，为开发者提供更为丰富和高效的AI工具集。

一，更广泛的生成式AI模型覆盖

OpenVINO™ 2024.4版本增加了对GLM-4-9B Chat、MiniCPM-1B、Llama 3和3.1、Phi-3-Mini、Phi-3-Medium以及YOLOX-s等模型的支持，使得开发者能够更轻松地利用这些先进的AI模型进行开发和部署。同时，新版本还集成了多个值得注意的OpenVINO™ Notebooks范例：包括Florence-2、NuExtract-tiny Structure Extraction、Flux.1 Image Generation、PixArt-α: Photorealistic Text-to-Image Synthesis以及Phi-3-Vision Visual Language Assistant，各模型的简介，如下表所示：

模型名称	简介
Florence-2	由微软Azure AI开发的一款轻量级视觉-语言基础模型，并在MIT许可证下开源。它的目标是实现一种统一、基于提示的表示方法，用于处理多种视觉和视觉-语言任务，包括图像描述、对象检测、定位以及分割。在多个视觉任务上表现卓越，特别是在ImageNet-1K上的零样本迁移能力显著。
NuExtract-tiny	NuExtract模型是一个文本到JSON格式的大语言模型（LLM），它能够从文本中提取任意复杂的信息，并将其转化为结构化数据。
Flux	Flux是由Black Forest Labs开发的一款AI图像生成模型。它利用多模态和并行扩散变换器块的混合架构，并扩展到120亿参数，标志着AI生成艺术领域的显著进步。该模型在图像生成方面提供了最先进的性能，包括顶尖的提示遵循能力、视觉质量、图像细节以及输出多样性。
PixArt-α	这是一款基于Transformer的文本到图像（T2I）扩散模型，其图像生成质量可与最先进的图像生成器相媲美，达到了接近商业应用标准的水平。
Phi-3-Vision	Phi-3-Vision-128K-Instruct是一个轻量级、最先进的开放多模态模型，它基于包括合成数据和经过筛选的公开网站在内的数据集构建，重点关注文本和视觉方面的高质量、推理密集型数据。该模型经历了严格的增强过程，结合了监督式微调和直接偏好优化，以确保精确的指令遵循和强大的安全措施。

OpenVINO™ notebooks范例链接：

https://github.com/openvinotoolkit/openvino_notebooks

二，更强大的大语言模型（LLM）支持和模型压缩技术

OpenVINO™ 2024.4在LLM支持方面也取得了显著进展：

支持全新的Xe2 GPU架构，该架构搭载于最新发布的英特尔® 酷睿™ Ultra处理器（第二代）平台，并由英特尔® Xe矩阵扩展（英特尔® XMX）加速技术驱动。Xe2架构在处理计算密集型任务，例如矩阵乘法方面，能够带来显著的性能提升，由此可以显著提升大语言模型的推理计算性能。
支持由Open Compute Project规范定义的mxfp4格式，这使在英特尔® 至强® 处理器上运行大语言模型时，相比于BF16精度，能够减少内存消耗，同时提高处理第二个Token的延迟性能。
对内存管理进行了改进，更高效地支持带有压缩权重的模型，使得大语言模型能够在资源受限的环境中，如笔记本电脑和边缘设备上，能够以最小的内存占用运行。

三，OpenVINO™ Model Server的增强

OpenVINO™ Model Server现在提供了对OpenAI兼容API的生产级支持，这使得在英特尔® 至强® 处理器上服务大语言模型(LLM)时，能够显著提升并行推理的吞吐量，满足大量并发用户的需求。此外，通过前缀缓存、KV缓存压缩等优化措施，新版本还改善了服务LLM时的性能和内存消耗。

四，总结

OpenVINO™ 2024.4版本的发布，标志着OpenVINO™在支持生成式AI、大语言模型以及优化Intel硬件性能方面迈出了重要一步。这一版本不仅提供了更多新特性和优化，还注重提升便携性和性能，为开发者提供了更为强大和灵活的AI工具集。未来，OpenVINO™将继续致力于推动AI技术的创新和发展，为开发者带来更多惊喜和可能！