英特尔开发人员专区

各位开发者大家好，目前OpenVINO官方已经发布了最新版本的Runtime 2024.3.0，因此我们根据官方发布的最新版本已经更新了OpenVINO Runtime NuGet包2024.3.0.1，大家可以下载进行测试使用。

如今，AI技术正以丰富多样的应用为奥运舞台增添精彩与活力，帮助识别并培育未来的奥运之星也是其中的关键一环。英特尔创新的AI平台技术让年轻运动员能够了解自身的真实潜力，并赋予了拥有潜力的新星们追逐奥运梦想的新机遇。

英特尔® NetSec 加速器参考设计为应对 SASE 以及各种部署在隔绝环境的边缘工作负载的这些要求提供了新方法，可显著减少网络和安全工作负载的基础设施占用空间。该设计包括英特尔® 处理器、英特尔® 以太网 800 系列控制器和大量板载高速内存，可基于 PCIe 扩展卡为用户提供服务器的全部功能。

Web AI 开发人员迎来重磅好消息！我们很高兴宣布英特尔和微软之间的合作结出硕果：将 WebNN API -作为 Windows 上的开发者预览功能引入 Microsoft Edge 浏览器。同时，英特尔一直努力为 Google 旗下 Chromium.org 中的 WebNN 功能做出贡献。

本文深入探讨了如何将微控制单元（MCU）与OpenVINO™ LLM（大语言模型）有效结合，实现在智能终端设备上的本地化自然语言处理。文章不仅提供了详尽的实施流程，还展望了在此基础上开发更多创新功能的可能性。通过这种端侧的大语言模型实现技术，不仅能够提升交互性能，还能为各类智能设备提供更加人性化的服务。

OpenVINO 利用全连接层优化的 vLLM 技术，融合多个全连接层 （MLP）、U8 KV 缓存和动态拆分融合，所有这些都协同工作，以提高推理速度并减少内存使用。对于第 2 个token的吞吐量性能，与今年的第一个版本相比，Intel® Arc™ 独立显卡的性能提升了 2 到 2.9 倍。这一新增功能旨在增强 AI 模型的可访问性，并加速模型的集成和部署。

英特尔将携手奥林匹克广播服务公司（OBS），将巴黎奥运会中精选的赛事活动传输至全球各地的英特尔园区及各大广播公司。

在数字化转型战略的驱动下，用户对于数据库的需求还将持续上升，英特尔将通过英特尔®至强®6 能效核处理器等软硬件技术的协同创新，挖掘新一代数据库的无限可能，持续释放技术创新的神奇力量，并将这种力量赋能客户、合作伙伴、开发者等数字化生态中的各个角色，携手开启一个开放共赢的创新时代。

英特尔致力于将AI的光，照亮云端、边缘、以及个人计算的每一个角落。随着AI应用的不断演进，边缘计算与AI的深度融合，将成为开启万物互联之门的金钥匙。一个智能、互联的时代，正在加速到来。

Enterprise AI 开源代码汇总

通过将Agent和RAG进行结合，我们直接提升LLM在解决复杂任务时的能力，相较于传统的RAG，Agentic-RAG更具产业落地价值。同时随着多智能体方法的引入，基于Agent的RAG将逐步取代传统RAG系统，实现更灵活，更精确的大语言模型应用业务体系。

AI智能体作为通用人工智能的核心载体，可以模仿人类的思维逻辑，将复杂任务进行拆解，并借助外部工具解决任务。通过利用OpenVINOTM和Qwen-Agent这样的工具，我们可以非常快捷地在本地构建一个AI智能体应用，在保护用户数据隐私的同时，更快速地响应任务需求，简单任务调用本地工具处理，复杂任务调用云端资源处理。

新的 OpenVINO™ 生成式AI API (GenAI API)为开发人员提供了更简单、更清晰的代码来维护。OpenVINO™也从计算机视觉和AI加速和优化库发展成为面向开发人员的生成式AI推动者。

本文介绍的AI视觉运动控制器由三个核心部分构成：NP-6122运动控制器、CODESYS编程环境以及OpenVINO™工具套件。具体来说，NP-6122-H1运动控制器承担了运动控制的功能，CODESYS编程环境用于编写和调试控制程序，而OpenVINO™工具套件则负责实现AI视觉处理的相关功能。

OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成式AI支持包，新发布的GenAI开发包支持C++与Python语言接口调用，支持多种LLM加载与推理部署能力，实现了OpenVINO对CNN网络、生成式模型、LLM网络主流模型的全面推理支持。

​Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、Yi-1.5-6B-Chat模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用五个API函数，方便快捷的实现将零一万物Yi-1.5系列模型本地化部署在基于英特尔处理器的算力魔方上。

本文为NPU设备部署BGE Embedding模型提供了一种参考路径。通过将Embedding模型部署在NPU上，可以在不影响模型输出准确性的前提下，极大优化模型的性能和能耗表现，进一步提升RAG等相关应用的综合能力。

在该项目中，我们结合之前开发的 OpenVINO™ C# API 项目部署YOLOv10模型，成功实现了对象目标检测与实例分割，并且根据不同开发者的使用习惯，同时提供了OpenCvSharp以及Emgu.CV两种版本，供各位开发者使用。

在 Qwen 2 发布之后，OpenVINO™ 将继续与 Qwen 和魔搭社区紧密合作，在未来，推出一系列丰富多彩的活动，帮助开发者深入了解和应用 Qwen 2 及 OpenVINO™ 的最新技术

英特尔®酷睿™ Ultra系列处理器内置CPU、锐炫™GPU和NPU，非常适合在端侧运行AI大模型。本文将在英特尔®酷睿™ Ultra 7 155H处理器上完成验证。

AI PC 大语言模型部署实验手册下载学习，轻松部署，在 AI PC 上体验基于英特尔® 酷睿™ Ultra 优化的大语言模型！

​Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、Unichat-llama3-Chinese模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用五个API函数，方便快捷的实现将Llama3本地化部署在基于英特尔处理器的算力魔方上。​

Phi-3模型是微软公司新近推出的一系列小型语言模型（SLM），旨在以更小的规模实现与大型语言模型(LLM)相媲美的性能，特别是在语言处理、推理、编码和数学基准测试方面；英特尔® 酷睿™ Ultra系列处理器是英特尔公司新近推出高端处理器，相对前代有显著的AI性能提升和能效优化；二者相互结合，使得广大的端侧设备都能受益于日益先进的AI技术。

英特尔®酷睿™Ultra处理器内置了CPU、GPU和NPU，相比之前，无论是能耗比、显卡性能还是AI性能，都有显著提升；通过OpenVINO™和NNCF，可以方便快捷实现AI模型的优化和INT量化，以及本地化部署，获得非常不错的端侧AI推理性能。

在该项目中，我们结合之前开发的 OpenVINO™ C# API 项目部署YOLOv9模型，成功实现了对象目标检测与实例分割，并且根据不同开发者的使用习惯，同时提供了OpenCvSharp以及Emgu.CV两种版本，供各位开发者使用。

​Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、LLama模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用六个API函数，方便快捷的实现将Llama3本地化部署在基于英特尔处理器的算力魔方上。

我们在平常长途回家，大多数多会上高速，但高速一般在节假日都会特别堵。所以这时候走应急车道的车还真不少，每每看到这些不排队的车主，真恨的有些牙痒，于是想结合OpenVINO™ 来实现一个类似于应急车道识别违法的案例，由于这篇文章没有代码部分，所以文章只讲述大致的思路，以及最终结果展示。

本文将在简要介绍Llama3模型的基础上，重点介绍如何使用 OpenVINO™ 对Llama3模型进行优化和推理加速，并将其部署在本地的设备上，进行更快、更智能推理的 AI 推理。

通过模型转换量化+部署这两个步骤，我们可以轻松实现 在本地 PC 上部署 Qwen2 大语言模型，经测试该模型可以流畅运行在最新的 Intel Core Ultra 异构平台及至强 CPU 平台上，作为众多 AI agent 和 RAG 等创新应用的核心基石，大语言模型的本地部署能力将充分帮助开发者们打造更安全，更高效的 AI 解决方案。

在该项目中，基于N97的哪吒平台通过Java API实现了基于segmentation 模型的分割代码，并且成功处理图片并展示。后续笔者将基于OpenVINO™ 实现OCR，背景扣除等模型实现。

YOLOv9的高精度和高速度，结合OpenVINO™工具套件对英特尔硬件的优化，使得目标检测任务在从社区物体识别到智能安防监控分析的各种应用场景中都能获得出色的性能表现！随着技术的不断进步，我们有理由相信，基于YOLOv9+OpenVINO™工具套件的实时目标检测技术将在未来发挥更加重要的作用。

本次活动不仅是对现有AI技术研发与应用的一次有力推动，更是对未来发展趋势的深度洞察与前瞻布局，为实践“人工智能+”行动计划，推动新质生产力发展，带来了新的突破。

当前，世界经济已进入到产品经济过剩的时代，中国作为全球制造业第一大国，数字化和智能化成为了企业业务创新的核心驱动。行云创新是以云原生技术为核心，使用包括EdgeX Foundry、OpenYurt、OpenVINO™ 等边缘原生与AI技术先进软件工具，并结合大模型等新兴技术，为先进制造业提供数智化解决方案的专业厂商。

过模型转换、量化、部署这三个步骤，我们可以轻松实现在本地 PC 上部署 ChatGLM3-6b 大语言模型，经测试该模型可以流畅运行在最新的 Intel Core Ultra 异构平台及至强 CPU 平台上，作为众多 AI agent 和 RAG 等创新应用的核心基石，大语言模型的本地部署能力将充分帮助开发者们打造更安全，更高效的 AI 解决方案。

​ 利用OpenVINO工具套件简单易用，仅需三步即可在算力魔方完成开发环境搭建及模型的INT4量化且在英特尔集成显卡上的部署实现RAG企业本地知识库部署.​

本项目开发了一种基于英特尔开发套件 - AlxBoard的计算机视觉和深度学习技术的茶叶病虫害监测物联网系统。系统预装了英特尔OpenVINO™工具套件，通过连接摄像头实时捕捉茶叶叶片的图像，并利用预先训练好的深度学习模型对图像进行分析，实现对茶叶病虫害的自动识别和分类。

利用 AI 技术，在边缘侧部署创新应用解决方案，来变革传统业务形态，已经成为众多现代企业的新选择。在这样的时机下，英特尔以英特尔® 酷睿™ 处理器、OpenVINO™ 工具套件以及英特尔® OneVPL等先进软硬件产品和技术为抓手，推出全新一代英特尔® AI 计算盒参考设计 (简称“AI Box”)，提供边缘视频AI 分析能力，推进横纵双向生态建设，携手合作伙伴为千行百业智能化提供强劲助力。

在该项目中，我们基于英特尔开发套件哪吒为硬件基础实现了Java在 Ubuntu 22.04 系统上成功使用OpenVINO™ Java API，并且成功允许了Yolov8模型，验证了Java可以在各种硬件平台上快速部署和运行，同时简化了Java开发者对于AI类项目的上手难度。后续我还会将继续使用 OpenVINO™ Java API 在 英特尔开发套件上部署更多的深度学习模型。

本文我们将结合之前开发的 LabVIEW AI 工具包for OpenVINO™工具包部署 YOLO9 模型实现实时目标检测。

哪吒（Nezha）开发套件以信用卡大小（85 x 56mm）的开发板-哪吒（Nezha）为核心，采用英特尔®处理器 N97（Alder Lake-N），结合了高性能和低功耗的特性。它支持四核 SoC，时钟频率高达 3.60GHz，TDP 仅为 12W。 其内置 GPU 用于 高分辨率显示。哪吒保持了 85mm x 56mm 信用卡大小的外形尺寸，与树莓派相同，包括高达 8GB 的 LPDDR5 系统内存、高达 64GB 的 eMMC 存储、板载 TPM 2.0、40 针 GPIO 连接器，并支持 Windo