- 博客(325)
- 收藏
- 关注
RSS订阅原创 新书发布 | 《OpenVINO™工具套件权威指南》正式出版！
台湾清华大学凝聚态物理学硕士，上海交通大学创新学院企业导师，曾在杜邦担任半导体研发工程师及苹果项目/业务经理，后在奥图码担任产品总监，专注云端、AI硬件和软件集成及商业化。张晶：百度飞桨高级产品经理，Linux基金会亚太区开源布道师，英特尔创新大使，《深度学习图像识别技术》《Python语言程序设计》作者之一，LabVIEW注册构架师，上海交通大学创新学院企业导师，华南农业大学工程学院研究生第二导师，东莞理工学院企业硕士导师。📄凡在活动期间购买本书，并填写表单 + 上传购书凭证。
2025-06-10 13:52:45
175
原创 OpenVINO2025轻松搞定四种生成式大模型部署
因为国内方位HuggingFace不方便，所以请把下面的代码放在最前面，然后运行，就可以使用HuggingFace镜像。致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动，促进人工智能开发者之间的交流学习。LLM与chat robot代码演示(text2text)：基于TinyLlama 1B模型实现。基于一个动漫风格的SD图像生成式模型完成图像生成代码演示。微信号 : openvinodev。直接使用预训练模型函数，自动下载。SDK支持四种类型的模型，分别是。“开放、开源、共创”
2025-06-09 11:02:07
403
原创 AI PC新突破 端侧首次支持128K上下文窗口 实现2.2倍推理优化
面壁智能正式发布并开源了「面壁小钢炮」端侧系列最新力作——MiniCPM 4.0 模型，实现了端侧可落地的系统级软硬件稀疏化的高效创新。英特尔与面壁智能从模型开发阶段就紧密合作，实现了长短文本多重推理效率的提升，端侧AI PC在Day 0全面适配，128K长上下文窗口等多方面突破。
2025-06-07 15:56:13
604
原创 利用OpenVINO™高效推理MiniCPM4系列模型
面壁推出的MiniCPM 4.0系列LLM模型拥有 8B 、0.5B 两种参数规模，针对单一架构难以兼顾长、短文本不同场景的技术难题，MiniCPM 4.0-8B 采用「高效双频换挡」机制，能够根据任务特征自动切换注意力模式：在处理高难度的长文本、深度思考任务时，启用稀疏注意力以降低计算复杂度，在短文本场景下切换至稠密注意力以确保精度，实现了长、短文本切换的高效响应。：int4/int8权重比例，默认为1.0，0.6表示60%的权重以int4表，40%以int8表示。：权重里共享量化参数的通道数量。
2025-06-06 18:29:29
577
原创 用 OpenVINO™ GenAI 解锁 LoRA 微调模型推理：高效定制你的大语言模型
现在，借助 OpenVINO™ GenAI，你可以无缝集成 LoRA适配器，实现对大语言模型的快速个性化定制。但如果你可以在不重新训练整个模型的情况下，高效地完成微调，会怎样？例如，如果你使用的是 Llama-3.2–3B-Instruct 模型，那么必须选择为该模型类型训练的 LoRA 适配器。以 Llama-3.2–3B-Instruct 为例，打开该模型的 Hugging Face “Model card” 页面，向下滚动页面，在右侧会看到名为 “Model tree” 的模块，如下图所示。
2025-05-27 10:56:47
700
转载 活动预告 | Devcon 中国 系列工作坊 2025 “ GenAI 教育探索联动活动”正式来袭！
活动聚焦 AI 教学工具开发、智能体技术落地、通义灵码在 AI Coding 领域新突破、英特尔 AI 智慧教育方案、AI PC 更好服务 developer 的产品尝试与展望等核心议题，为教育从业者、开发者及科技爱好者打造一场深度交流与灵感碰撞的盛宴~”汇聚来自顶尖行业专家、技术领袖与教育实践者，共同探索 GenAl 技术、英特尔 OpenVINO™ AI 加速工具在教育场景中的创新应用与前沿趋势。致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动，促进人工智能开发者之间的交流学习。
2025-05-13 09:00:35
20
转载 英特尔打造零售门店“最强大脑”，点亮零售行业智慧升级
从称重收银到智慧导购，基于英特尔® 酷睿™ 处理器、英特尔® 酷睿™ Ultra处理器、英特尔® 至强® 处理器和英特尔锐炫™ 独立显卡等几大支柱产品，零售门店的智慧转型正以高性能和成本效益兼具的方式火热展开。在现在和将来的智慧零售门店中，英特尔为这些屡见不鲜的场景提供算力和AI支持：消费者步入门店的瞬间，人脸识别即刻关联购物历史，完成产品精准推荐，选购完成后，刷脸快速完成结算。涵盖多业态使用场景，为社区超市、生鲜零售、连锁专卖店、农贸市场、大型商超等多元消费场景，提供优异的称重和结算方案；
2025-05-12 12:30:21
31
转载 # YOLO11-OpenVINO™ 实例分割
YOLO11 是 YOLOv5 跟 YOLOv8 作者推出最新升级版本模型，支持分类、检测、分割、姿态评估、OBB。这里以 YOLO11 实例分割模型为例，演示 OpenVINO™ C# 如何运行，YOLO11-seg 模型的输入与输出。这个实现最大的坑在后处理部分，要基于全局编码信息乘以每个检测 BOX 区域的编码信息，才可以解码得到每个 BOX 对象的掩膜。代码是我在 OpenVINO-CSharp-API 作者开源的 YOLOv8 对象检测的代码基础上修改而成。关注我们,让开发变得更有趣。
2025-05-06 12:00:22
58
转载 英特尔第一时间深度优化 Qwen3 大模型，升级 AI PC 能力赋能多样化场景
具体而言，在 ARL-H 64G内存的系统上部署的30B参数规模 MoE 模型，实现了33.97 token/s1的吞吐量，而且相较于同等参数规模的稠密模型，取得了显著的性能提升。其中，率先在汽车行业内采用了多节点芯粒架构的第二代 SDV SOC，其生成式和多模态 AI 性能，相比上一代，最高可提升十倍4，这让汽车 AI 体验，如舱内的实时对话、自然语言交互和复杂指令的响应等，都充满 AI 的灵性。同时，在酷睿 Ultra 的 iGPU 平台上，英特尔持续为模型带来卓越的性能。
2025-04-30 11:22:12
49
原创 Intel OpenVINO™ Day0 实现 Qwen3 快速部署
OpenVINO™ 目前提供两种针对大语言模型的部署方案，如果您习惯于 Transformers 库的接口来部署模型，并想体验相对更丰富的功能，推荐使用基于 Python 接口的 Optimum-intel 工具来进行任务搭建。在部署模型之前，我们首先需要将原始的 PyTorch 模型转换为 OpenVINO™ 的 IR 静态图格式，并对其进行压缩，以实现更轻量化的部署和最佳的性能表现。int4/int8 权重比例，默认为1.0，0.6表示60%的权重以 int4 表，40%以 int8 表示。
2025-04-29 15:23:26
828
原创 OpenVINO™ 2025.1 正式发布！
对于 PyTorch 模型，Executorch 提供了在边缘设备上高效运行模型的能力，适用于计算资源与内存受限的场景。在此次 OpenVINO™ 新版本中，我们引入了 Executorch 的 OpenVINO™ 后端预览支持，可加速推理并提升模型在英特尔 CPU、GPU 与 NPU 上的执行效率。在此次版本中，我们重点增强了新模型的覆盖和实际应用场景的支持，同时在性能优化上也进行了深度打磨，帮助你的 AI 解决方案运行得更快、更高效。
2025-04-17 12:01:16
1027
转载 携手 Acontis 与盟通，英特尔虚拟化驱动工业负载整合
英特尔提供完整的产品系列，以满足不同行业的多样化需求：从英特尔凌动® 处理器，英特尔® 酷睿™ 处理器到英特尔® 至强® 处理器，凭借其强大的计算性能和高可靠性，可用于工业网关、人机界面（HMI）、自动化控制、机器人、工业PC（IPC）、工业服务器等场景，提供卓越的计算能力，支持确定性实时控制以及复杂的数据处理、机器视觉和AI推理。借助虚拟化，SMP架构的x86平台能够同时运行多个操作系统，这些操作系统可以共享或独占物理核，从而支持不同工作负载的部署，实现工业负载的高效整合。
2025-04-14 12:00:48
901
转载 开发者实战｜在英特尔® 酷睿™ Ultra AI PC 上部署多种图像生成模型快速实现文生图功能
其核心能力涵盖 文本生成、图像生成、多模态推理 等场景，通过硬件加速、模型压缩和开发工具链集成，显著提升生成式 AI 的推理性能与部署效率。目前 OpenVINO™ GenAI 支持了多种图像生成模型，包括了 Latent Consistency Model、Stable Diffusion、Stable Diffusion Inpainting、Flux 等系列模型，模型导出和下载方式基本一致，此处以 stable-diffusion-v1-5 模型为例，演示文生图模型的下载方式。
2025-04-10 12:04:42
316
原创 当 Ollama 遇上 OpenVINO™ ：解锁多硬件 AI 推理新范式
OpenVINO™ GenAI 为 Ollama-OV 提供了强大的可扩展性和灵活性，支持speculative decoding，Prompt-lookup decoding， pipeline parallel， continuous batching 等 pipeline 优化技术，为未来更多 pipeline serving 优化奠定了坚实基础。Ollama 提供了极简的模型管理工具链，而 OpenVINO™ 则通过 Intel 硬件（CPU/GPU/NPU）为模型推理提供了高效的加速能力。
2025-04-08 17:04:13
1078
转载 实战精选｜用英特尔® 酷睿™ Ultra及OpenVINO™ GenAI本地部署DeepSeek-R1
其中 --model 参数是 HuggingFace Hub 中的模型 ID 或带有 model 的本地目录（使用 .save_pretrained 方法保存），--task 是 导出的模型应该解决的支持任务之一。本文使用optimum-intel命令，将DeepSeek-R1-Distill-Qwen-1.5B PyTorch格式模型转换为OpenVINO™ IR格式模型，并完成FP16、INT8或INT4量化。--group-size 参数将定义用于量化的组大小，-1 将导致每列量化。
2025-03-25 17:31:01
58
转载 实战精选｜使用 OpenVINO™ 和哪吒开发板部署 DeepSeek
它具有部署简单和资源占用低的优势，Ollama 提供了简洁的命令行操作界面，降低了部署的技术门槛。从企业对数据隐私的严守，到边缘设备上的高效推理，再到英特尔哪吒开发套件上的灵活部署，DeepSeek-R1 正在以一种前所未有的方式，将智能的力量带到每一个角落。例如，通过优化硬件配置和资源利用，DeepSeek-R1 的部署成本可以大幅降低，同时避免了按调用次数计费的高昂费用。而当我们站在技术的十字路口，回望这一路的探索，或许会发现，真正的魔法并非来自模型本身，而是我们对技术的掌控和创新。
2025-03-22 08:31:06
63
转载 实战精选 | 在英特尔® 酷睿™ Ultra AI PC上用NPU部署YOLOv11与YOLOv12
可以看出，YOLOv8系列在NPU和GPU加速下的表现非常优越，特别是YOLOv8n和YOLOv8s，它们在GPU上的推理时间仅为2.64ms和4.62ms，显示了YOLOv8系列在加速硬件上的高效性。近期，YOLO系列模型发布了YOLOv12， 对 YOLO 框架进行了全面增强，特别注重集成注意力机制，同时又不牺牲 YOLO 模型所期望的实时处理能力，是 YOLO 系列的一次进化，突破了人工视觉的极限。相比之下，YOLOv11系列的表现略逊，虽然NPU加速有助于提升推理速度，但整体推理时间仍然较长。
2025-03-21 08:30:18
117
转载 “码”上出发·“芯”创未来｜2025英特尔人工智能创新应用大赛，火热报名中！请收下这份“赛前助攻”直播课
英特尔人工智能创新应用大赛由英特尔中国主办，是面向中国开发者和企业的科技赛事。依托于英特尔及合作伙伴们丰富的软硬件一体化解决方案，为广大开发者提供一个展示创意和成果的平台。致力于通过定期举办线上与线下的沙龙、动手实践及开发者交流大会等活动，促进人工智能开发者之间的交流学习。为了帮助大家更好地学习和了解，参加考试并获取证书，，欢迎大家扫描海报二维码或点击阅读原文报名！微信号 : openvinodev。B站：OpenVINO中文社区。关注我们,让开发变得更有趣。“开放、开源、共创”
2025-03-20 19:18:17
58
转载 实战精选 | 用 OpenVINO™ GenAI解锁 LLM 极速推理：推测式解码让 AI 爆发潜能
无论您是在构建响应迅速的聊天机器人、高效的虚拟助手，还是具备可扩展性的创意应用，OpenVINO™ 正在重新定义 AI 推理的可能性。在理想情况下，草稿模型的预测完全符合主模型的预期，使得验证过程可以在单次请求内完成。这些说明涵盖了常见的设置流程，例如：安装必需的工具（CMake、Visual Studio、Python），运行 setupvars.bat 文件，导航到适当的目录。OpenVINO™ 基于这些原理，提供专为推测式解码优化的预训练模型，既简化了开发流程，又提升了性能和可扩展性。
2025-03-18 18:00:23
48
转载 报名开启 | 2025英特尔人工智能创新应用大赛即将开赛，奖金奖项、赛题赛制全面升级！...
点击蓝字关注我们在数字时代，以人工智能技术为代表的新质生产力正在加速重塑千行百业，快速迭代的市场需求和技术革新催生了多种场景的创新应用，为企业和开发者带来了新价值新机遇。英特尔人工智能创新应用大赛由英特尔中国主办，旨在提供一个展示创意和成果的平台，鼓励企业和开发者们依托英特尔及合作伙伴们丰富的软硬件一体化解决方案，进行AI创新应用创作，加速业务推进和成果落地。2024英特尔人工智能创新应用大赛吸引...
2025-03-12 08:30:14
238
转载 实战精选 | 如何利用 OpenVINO™ 在本地运行 Qwen 2.5-VL 系列模型
点击蓝字关注我们作者：杨亦诚英特尔 AI 软件工程师介绍近期阿里通义实验室在 Hugging Face 和 ModelScope 上开源了 Qwen2.5-VL 的 Base 和 Instruct 模型，包含 3B、7B 和 72B 在内的 3 个模型尺寸。其中，Qwen2.5-VL-7B-Instruct 在多个任务中超越了 GPT-4o-mini，而 Qwen2.5-VL-3B 作为端侧 A...
2025-03-11 08:30:36
131
转载 实战精选 | AI PC 新玩法：OpenVINO™ GenAI+LoRA 助你轻松实现个性化图像的高效生成...
点击蓝字关注我们作者：武卓英特尔 AI 软件布道师借助生成式 AI 模型（如 Stable Diffusion 和 FLUX.1），用户可以将平平无奇的文本提示词转换为令人惊艳的视觉效果。但如果你想生成更具风格化或定制化的图像，开源的基础模型可能无法满足你的所有需求。这时，LoRA（低秩自适应）就派上用场了。许多风格修改和增强功能现以 LoRA 的形式发布，作为基础模型的模块化附加组件。通过添加...
2025-03-10 17:45:15
60
转载 活动报名开启！OpenVINO™ 2025 新纪元，强力加持 Deepseek 本地部署
点击蓝字关注我们,让开发变得更有趣OpenVINO™当 DeepSeek-R1 遇上 OpenVINO™ 2025.0使用最新款英特尔 AI PC，实现本地部署告别回复卡顿和数据安全顾虑！还有 LoRA、Minicpm-v 的动手实践探索抢先体验！OpenVINO™ 2025开启新纪元3月14日线上线下同步开启重构AI生产力，扫码即刻锁定报名！活动信息线下参会地址：深圳·南山区英特尔大湾区科技创新...
2025-03-07 10:51:02
76
转载 DeepSeek 模型在 英特尔锐炫™ 显卡上的高效推理实践
点击蓝字关注我们,让开发变得更有趣OpenVINO™随着人工智能技术的迅猛发展，大规模语言模型（LLMs）在自然语言处理、内容生成和智能对话等领域的应用日益广泛。国产 AI 大模型 DeepSeek 凭借其强大的生成能力和广泛的应用场景，迅速成为业界焦点。目前，我们已经在英特尔® 酷睿™ 处理器与英特尔锐炫™ 显卡组成的硬件配置上，完成对大模型推理的验证，为 AI 模型的部署和推理提供了强有力的支...
2025-02-28 12:30:40
286
原创 GDC2025 | DeepSeek - AI PC 本地部署本周六向你发起挑战！
点击蓝字关注我们,让开发变得更有趣OpenVINO™英特尔×魔搭社区 联合开发者日 再次开启！本次活动以“OpenVINO™ 极客工坊 - 用AI PC点燃你的GenAI创意引擎！”为主题，特邀武卓博士与杨亦诚老师，为大家带来精彩的技术分享与动手实践。2月22日（周六）13:30-17:00，让我们“上海市徐汇西岸艺术中心 B馆 B-W-1”再见，一同用 AI PC 点燃你的 GenAI 创意引擎...
2025-02-17 17:01:00
467
转载 C# 中使用 OpenVINO™：轻松集成 AI 模型！
点击蓝字关注我们,让开发变得更有趣作者 算力魔方创始人/英特尔创新大使 刘力OpenVINO™C# 不仅在 PC 游戏开发、大型商业系统领域应用广泛，还成为开源测控、机器视觉与运动控制，以及 PC 数集与分析领域中的主流开发语言！在开源测控、机器视觉、数采与分析三大领域中，如何快速将AI模型集成到应用程序中，实现 AI 赋能和应用增值？最容易的方式是：在C#中，使用 OpenVINO™ 工具套件集...
2025-02-14 12:00:35
78
原创 实战精选 | 如何利用 OpenVINO™ 在本地构建多模态 RAG 应用
点击蓝字关注我们,让开发变得更有趣作者 | 杨亦诚 英特尔 AI 软件工程师OpenVINO™介绍Retrieval-Augmented Generation (RAG) 系统可以通过从知识库中过滤关键信息来优化 LLM 任务的内存占用及推理性能。归功于文本解析、索引和检索等成熟工具的应用，为文本内容构建 RAG 流水线已经相对成熟。然而为视频内容构建 RAG 流水线则困难得多。由于视频结合了图像...
2025-02-13 17:03:26
1134
原创 OpenVINO™ 2025.0 正式发布！DeepSeek 支持、FLUX.1 图像生成、英特尔® NPU 加速全面升级...
点击蓝字关注我们,让开发变得更有趣作者 | 武卓 英特尔 OpenVINO™ 布道师OpenVINO™新年快乐！2025年首个 OpenVINO™ 版本正式发布 生成式AI（GenAI）在模型质量与应用范围上持续爆发式增长，DeepSeek 等顶尖模型已引发行业热议，这种势头预计将在 2025年延续。本次更新聚焦性能提升、更多生成式AI 模型的支持，并针对英特尔®神经处理单元（NPU）推出关键优化...
2025-02-12 17:51:14
815
转载 Deepseek 再次震撼 AI 领域，OpenVINO™ 2025.0 全力加持，性能全面升级！
点击蓝字关注我们,让开发变得更有趣作者 | 吴珊珊OpenVINO™ 开发者社区经理作者 |武卓 英特尔 OpenVINO™布道师作者 |杨亦诚 英特尔 AI 软件工程师OpenVINO™引言Deepseek 的突破性进展，引发 AI 领域震动。最近，Deepseek 的重大更新再次震撼全球 AI 领域。作为生成式 AI 领域的佼佼者，Deepseek 近期发布的新模型展现了惊人的推理速度...
2025-02-11 17:01:41
761
1
转载 实战精选 | 基于 LabVIEW 和 YOLOv8-Pose 的跳绳计数装置
点击蓝字关注我们,让开发变得更有趣作者 |李筱语指导老师 |王立奇英特尔创新大使OpenVINO™跳绳是一项广受欢迎的运动项目，因其简单易行而备受学生和运动爱好者青睐。然而，在实际运动中，人工计数容易出现误差，影响比赛和训练效果。本文提出了一种基于 LabVIEW 和 YOLOv8-Pose 的跳绳计数装置，利用深度学习的姿态检测能力和 LabVIEW 的实时处理功能，实现跳绳动作的精准识别...
2025-01-19 12:35:58
192
转载 实战精选｜英特尔开发板试用：图像检测算法在RFID生产中产品缺陷检测的应用...
点击蓝字关注我们,让开发变得更有趣作者 | 吴思凯上海哲山科技OpenVINO™我们公司是一个RFID电子标签生产制造企业，随着AI技术的发展，我们将新的技术积极引入生产环节中，以便解决生产环节遇到的问题以及降低用工成本。以下是我们在RFID生产中遇到的问题：OpenVINO™芯片绑定中的缺陷产品的检测1.1 芯片绑定流程的介绍（1）点胶该流程采用点胶控制器，通过特定针筒在天线基板上特定位置点上...
2025-01-18 17:00:18
85
原创 白皮书重磅发布！OpenVINO™ 助力腾讯会议：告别会议卡顿烦恼
点击蓝字关注我们,让开发变得更有趣OpenVINO™一：当线上会议遇上卡顿魔咒在数字化办公的浪潮中，远程协作迅速成为工作常态，线上会议从边缘走向核心。大家期望借背景虚化、智能美颜等功能，为会议披上专业与隐私的“魔法外衣”，然而，电脑却像是被施了“卡顿咒”，瞬间“闹脾气”。画面卡顿如幻灯片，声音也像是在“长途跋涉”后才姗姗来迟，严重阻碍会议流程与团队协作。尽管用户对硬件“升级换代”，对系...
2025-01-16 21:20:43
224
1
原创 使用 OpenVINO™ 条件编译功能，压缩 Windows 应用体积
点击蓝字关注我们,让开发变得更有趣作者 | 杨亦诚 英特尔 AI 软件工程师排版| 吴紫琴OpenVINO™在 OpenVINO™ 编译过程中，我们可以根据应用对于硬件平台的需求，关闭或开指定推理后端的编译，以达到简化 OpenVINO™ 运行库的目的，例如 cmake -DENABLE_INTEL_GPU=OFF 便可以取消 GPU plugin 库的编译。除此以外 OpenVINO™ 还提供...
2025-01-04 13:52:59
585
转载 实战精选｜英特尔开发板部署 YOLOv5：完成透明物体目标检测
点击蓝字关注我们,让开发变得更有趣作者 |杨雪峰 英特尔创新大使OpenVINO™哪吒套件简介Intel 的哪吒（Nezha）开发套件是一款专为边缘AI和物联网应用设计的高性能计算平台，搭载了Intel® N97处理器、内置 Intel® UHD Graphics GPU，并提供高达8GB LPDDR5内存与32GB至64GB eMMC存储选项。它支持 Windows 和 Linux 操作系统，...
2024-12-16 17:01:14
199
转载 活动预告 | Devcon 中国 系列工作坊 2024 第七期活动来袭！
点击蓝字关注我们,让开发变得更有趣OpenVINO™Devcon 中国 系列工作坊 2024 第七期活动正式开启！本次活动“以 AIPC 加速功能充分释放生成式 AI 潜能及创新应用分享”为主题，特邀武卓老师、杨亦诚老师、梁帅老师为大家带来技术分享。第七期活动定于2024年12月20日 星期五 14：00-15：20报名链接如下：https://uao.so/ce21722c960OpenVIN...
2024-12-13 21:59:58
40
转载 实战精选｜用英特尔 CPU 及 GPU 运行 OpenAI-whisper 模型语音识别
点击蓝字关注我们,让开发变得更有趣OpenVINO™介绍Whisper 作为一款卓越的自动语音识别（ASR）系统，依托海量且多元的监督数据完成训练，其数据规模高达 680,000 小时，涵盖多种语言及丰富多样的任务类型，广泛采撷自网络资源，以此铸就了坚实的性能根基。从技术架构层面剖析，Whisper 构建于先进的 Transformer 框架之上，采用经典的编码器 - 解码器模型设计，也就是广为人...
2024-12-09 09:00:58
745
转载 2024 “AI+硬件创新大赛”获奖名单出炉，浙大、上交与复旦联队等夺冠
点击蓝字关注我们,让开发变得更有趣OpenVINO™2024年11月30日，由开放源子开源基金会主办，魔搭社区、英特尔与阿里云共同承办的“AI+硬件创新大赛”总决赛在杭州圆满落幕。本次大赛从全国逾400支队伍中决出26支队伍晋级总决赛，作业智能批改机、桌面级AI教育机器人、智能轮椅Agent、AI手语手套、AI针灸等创意项目，覆盖教育、机器人、医疗、公益等不同领域，最终两大赛道冠军分别由来自浙江大...
2024-12-05 08:00:31
259
转载 实战精选｜树莓派跑 LLM 难上手？也许你可以试试 Intel 哪吒开发板
点击蓝字关注我们,让开发变得更有趣OpenVINO™大型语言模型（LLM）通过其卓越的文本理解与生成能力，为机器智能带来了革命性的进步。然而，这些模型的运行通常需要消耗大量的计算资源，因此它们主要部署在性能强大的服务器上。随着技术的发展和边缘计算的兴起，现在有潜力在更小巧、便携的设备上部署这些模型。例如，Raspberry Pi 树莓派和 Intel 哪吒开发套件等单片机。尽管体积小巧，但它们具备...
2024-12-04 09:00:47
301
腾讯会议与OpenVINO合作优化NPU算力增强会议系统智能化
2025-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人