英特尔开发人员专区

OpenVINO™是英特尔推出的一款针对AI模型进行优化、推理加速以及快速部署的开源AI工具套件。针对配备了英特尔®酷睿™Ultra处理器的 AI PC ，可以帮助AI模型在CPU、GPU以及NPU上进行快速部署以及推理加速。

OpenVINO2024.2版本跟之前版本最大的不同是OpenVINO2024.2分为两个安装包分别是基础包与生成式AI支持包，新发布的GenAI开发包支持C++与Python语言接口调用，支持多种LLM加载与推理部署能力，实现了OpenVINO对CNN网络、生成式模型、LLM网络主流模型的全面推理支持。

​Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、Yi-1.5-6B-Chat模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用五个API函数，方便快捷的实现将零一万物Yi-1.5系列模型本地化部署在基于英特尔处理器的算力魔方上。

在此，我们兴奋地宣布OpenVINO™ 2024.2最新版本现已开放下载！我们的团队一直致力于各项新特性和性能提升的研发。一如既往，我们努力不断优化用户体验，拓宽OpenVINO的功能边界。

在该项目中，我们结合之前开发的 OpenVINO™ C# API 项目部署YOLOv10模型，成功实现了对象目标检测与实例分割，并且根据不同开发者的使用习惯，同时提供了OpenCvSharp以及Emgu.CV两种版本，供各位开发者使用。

AI PC 作为技术与个人计算设备的完美结合，正在引领一场全新的技术革命。它不公是强大的计算工具，更是打开未来无限可能的魔法钥匙

6月22日宁波甬水桥科创中心，我们诚邀您加入这场科技之旅，本次盛会旨在汇聚人工智能领域的精英与专家，深入探讨AI大模型在产业领域的应用与前景，为企业、高校和开发者提供一次不可多得的交流与对接平台。

在 Qwen 2 发布之后，OpenVINO™ 将继续与 Qwen 和魔搭社区紧密合作，在未来，推出一系列丰富多彩的活动，帮助开发者深入了解和应用 Qwen 2 及 OpenVINO™ 的最新技术

英特尔®酷睿™ Ultra系列处理器内置CPU、锐炫™GPU和NPU，非常适合在端侧运行AI大模型。本文将在英特尔®酷睿™ Ultra 7 155H处理器上完成验证。

在 OpenVINO™ 2024.1 release 版本中，我为 OpenVINO™ 添加了 TensorFlow 中的 Rint operation 以及 PyTorch 中的 aten::bucketize operation 的支持，在此分享我的实现过程，给有兴趣参与 OpenVINO™ 开源项目的同学参考，希望大家都能积极参与到社区建设当中来！

英特尔®酷睿™Ultra处理器内置了CPU、GPU和NPU，相比之前，无论是能耗比、显卡性能还是AI性能，都有显著提升；通过OpenVINO™和NNCF，可以方便快捷实现AI模型的优化和INT量化，以及本地化部署，获得非常不错的端侧AI推理性能。

英特尔工业实时计算系列课程是英特尔精心打造的系列课程，课程内容贴近工业实际需求，同时融合英特尔在实时计算的软硬件、解决方案等方面的深厚技术积累。能够帮助大家从零开始了解实时计算，了解如何在英特尔X86平台上开发搭建实时系统，掌握关键的实时技术，助力早日成为领域专家。

基于LLM构建的AI智能体，虽然无法做到面面俱到，但他却可以找到最合适的帮手一同完成任务。除了以上这些示例外，我们还可以利用Agent，RAG以及多模态模型等技术，创建更复杂的应用体系，例如将人类指令转化为机器臂的具体动作，或是根据用户请求绘制创建文本或音视频内容。作为通过通用人工智能（AGI）的必经之路，Agent 就好比是一个能够感知环境、进行决策和执行动作的智能实体，像人一样感知世界，运用工具，与他人进行交互。相信在OpenVINO™的加持下，完全本地的AI智能体服务将成为可能。

基于OpenVINO™的模型任务目前已集成进了LangChain框架组件中，开发者可以以更便捷的方式，在原本基于LangChain构建的上层AI应用中，获取上对于关键模型推理性能上的提升。对于Intel的AIPC开发者来说，借助LangChain和OpenVINO的集成，也可以以更低的硬件门槛和资源占用来创建LLM服务。

英特尔®酷睿™Ultra处理器内置了CPU、GPU和NPU，相比之前，无论是能耗比、显卡性能还是AI性能，都有显著提升；通过OpenVINO™和NNCF，可以方便快捷实现AI模型的优化和INT量化，以及本地化部署，获得非常不错的端侧AI推理性能。

在该项目中，我们结合之前开发的 OpenVINO™ C# API 项目部署YOLOv9模型，成功实现了对象目标检测与实例分割，并且根据不同开发者的使用习惯，同时提供了OpenCvSharp以及Emgu.CV两种版本，供各位开发者使用。

​Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、LLama模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用六个API函数，方便快捷的实现将Llama3本地化部署在基于英特尔处理器的算力魔方上。

我们在平常长途回家，大多数多会上高速，但高速一般在节假日都会特别堵。所以这时候走应急车道的车还真不少，每每看到这些不排队的车主，真恨的有些牙痒，于是想结合OpenVINO™ 来实现一个类似于应急车道识别违法的案例，由于这篇文章没有代码部分，所以文章只讲述大致的思路，以及最终结果展示。

OpenVINO™ 工具套件的每一次升级，都意味着我们在 AI 推理与部署的前沿领域迈出了新的步伐，不仅释放了更多创新潜力，也巩固了其市场地位。如今，我们满怀欣喜地向您呈现 OpenVINO™ 2024.1 版本的全新特性，并继续履行我们的承诺：为全球开发者打造更强劲、更灵活、更易用的开发工具。

本文将在简要介绍Llama3模型的基础上，重点介绍如何使用 OpenVINO™ 对Llama3模型进行优化和推理加速，并将其部署在本地的设备上，进行更快、更智能推理的 AI 推理。

通过模型转换量化+部署这两个步骤，我们可以轻松实现 在本地 PC 上部署 Qwen2 大语言模型，经测试该模型可以流畅运行在最新的 Intel Core Ultra 异构平台及至强 CPU 平台上，作为众多 AI agent 和 RAG 等创新应用的核心基石，大语言模型的本地部署能力将充分帮助开发者们打造更安全，更高效的 AI 解决方案。

Optimum Intel工具包简单易用，仅需三步即可完成开发环境搭建、LLama模型INT4量化和推理程序开发。基于Optimum Intel工具包开发Llama3推理程序仅需调用六个API函数，方便快捷的实现将Llama3本地化部署在基于英特尔处理器的算力魔方上。

在该项目中，基于N97的哪吒平台通过Java API实现了基于segmentation 模型的分割代码，并且成功处理图片并展示。后续笔者将基于OpenVINO™ 实现OCR，背景扣除等模型实现。

诺达佳机器人控制器，搭载英特尔处理器，以其强大的性能和稳定性，为AI机器人长期无故障运行提供了坚实的基础。随着AI技术的不断发展，机器人的应用领域将更加广泛，在医疗、餐饮、酒店、零售、工厂等多个场景中发挥重要作用。

为满足行业需要，英特尔始终致力于推动技术的开放性和互操作性，与行业伙伴携手帮助企业克服数字化转型中的挑战。在此过程中，英特尔不仅持续投资工业所需的芯片和技术，还专注于边缘端负载整合，更是通过包括英特尔工业边缘洞见平台（EII）和英特尔工业边缘控制平台（ECI）在内的边缘软件平台，持续赋能工业生态系统。

YOLOv9的高精度和高速度，结合OpenVINO™工具套件对英特尔硬件的优化，使得目标检测任务在从社区物体识别到智能安防监控分析的各种应用场景中都能获得出色的性能表现！随着技术的不断进步，我们有理由相信，基于YOLOv9+OpenVINO™工具套件的实时目标检测技术将在未来发挥更加重要的作用。

当前，世界经济已进入到产品经济过剩的时代，中国作为全球制造业第一大国，数字化和智能化成为了企业业务创新的核心驱动。行云创新是以云原生技术为核心，使用包括EdgeX Foundry、OpenYurt、OpenVINO™ 等边缘原生与AI技术先进软件工具，并结合大模型等新兴技术，为先进制造业提供数智化解决方案的专业厂商。

过模型转换、量化、部署这三个步骤，我们可以轻松实现在本地 PC 上部署 ChatGLM3-6b 大语言模型，经测试该模型可以流畅运行在最新的 Intel Core Ultra 异构平台及至强 CPU 平台上，作为众多 AI agent 和 RAG 等创新应用的核心基石，大语言模型的本地部署能力将充分帮助开发者们打造更安全，更高效的 AI 解决方案。

利用 AI 技术，在边缘侧部署创新应用解决方案，来变革传统业务形态，已经成为众多现代企业的新选择。在这样的时机下，英特尔以英特尔® 酷睿™ 处理器、OpenVINO™ 工具套件以及英特尔® OneVPL等先进软硬件产品和技术为抓手，推出全新一代英特尔® AI 计算盒参考设计 (简称“AI Box”)，提供边缘视频AI 分析能力，推进横纵双向生态建设，携手合作伙伴为千行百业智能化提供强劲助力。

英特尔锐炫™ A 系列显卡（ARC）基于Xe-HPG微架构设计,采用了业界领先的6nm工艺,搭载了大量创新的硬件加速单元。提供了卓越的图形渲染能力,全面支持DX12 Ultimate API以及实时光线追踪技术,能为游戏和专业应用带来无与伦比的真实感视觉体验。

在该项目中，我们基于英特尔开发套件哪吒为硬件基础实现了Java在 Ubuntu 22.04 系统上成功使用OpenVINO™ Java API，并且成功允许了Yolov8模型，验证了Java可以在各种硬件平台上快速部署和运行，同时简化了Java开发者对于AI类项目的上手难度。后续我还会将继续使用 OpenVINO™ Java API 在 英特尔开发套件上部署更多的深度学习模型。

本文我们将结合之前开发的 LabVIEW AI 工具包for OpenVINO™工具包部署 YOLO9 模型实现实时目标检测。

AI大模型开发者工作坊，是一场集理论研讨、实战演练、人脉拓展于一体的盛宴，期待您的到来，共同解锁混合AI大模型的无限可能，共绘智能未来的壮美蓝图！报名通道现已开启，让我们携手探索，共创智慧未来！

引言： 在当下这个数字化不断加深的时代，智能客服系统，如基于OpenVINO™的AI Agent ———Samantha（萨曼莎），正在根本性地改变企业与客户之间的互动方式。Samantha运用最前沿的对话式AI技术和深度学习，向用户提供了一个流畅且高度个性化的服务体验。结合OpenVINO™工具包的优化性能以及MoE（混合专家模型）技术的应用，Samantha（萨曼莎）在智能客服领域展示了其创新性与领导力。Samantha（萨曼莎）官网链接：https://zky.ineurontech.com/h

在AI解决方案的背景下，EdgeX Foundry与OpenYurt配合，通过非侵入的方式，实现云原生的能力，简化了与云端之间的互操作；与OpenVINOTM Model Server配合，以微服务的方式，实现了边缘端AI推理，从而加速边云协同AI解决方案落地。

扬科技针对边缘 AI 行业开发者推出的哪吒（Nezha）开发套件，以信用卡大小（85 x 56mm）的开发板-哪吒（Nezha）为核心，哪吒采用 Intel® N97 处理器（Alder Lake-N），最大睿频 3.6GHz，Intel® UHD Graphics 内核GPU，可实现高分辨率显示；板载 LPDDR5 内存、eMMC 存储及 TPM 2.0，配备 GPIO 接口，支持 Windows 和 Linux 操作系统，适用于如自动化、物联网网关、数字标牌和机器人等应用。

作为主要面向 RAG 任务方向的框架，Semantic Kernel 可以简化大模型应用开发过程，而在 RAG 任务中最常用的深度学习模型就是 Embedding 和 Text completion，分别实现文本的语义向量化和文本生成，因此本文主要会分享如何在 Semantic Kernel 中调用 OpenVINO™ runtime 部署 Embedding 和 Text completion 模型。

OpenVINO Notebooks是一套以 Jupyter Notebook 为载体的交互式编程教程和示例代码合集，由英特尔公司开发和维护。这套资源专为使用 OpenVINO 工具套件的开发者设计，旨在帮助他们更快地理解和掌握如何利用 OpenVINO 进行深度学习模型的优化与推理。

在智改数转的大背景下，AI-PAC可以方便快速的实现智能化控制，赋能制造业转型升级。跟AI-PAC配套的Niii Vision Pro软件平台可以在集成的环境中一站式实现AI图像算法和运动控制。supOS工业操作系统将AI-PAC与云端服务相连，工业数据可以实时上传到云端进行分析和处理，从而实现智能化的决策和执行。

OpenYurt是业界首个非侵入的云边协同的云原生平台，master组件部署在云端，可以方便的管理分散的边缘机器和设备