【深度聚焦】Intel AI Summit 宁波站：共绘AI大模型产业应用新蓝图

2024年6月22日，在宁波甬水桥科创中心，一场聚焦于AI大模型科技奥秘与产业实践的深度峰会——Intel AI Summit圆满落下帷幕。

这场由英特尔领衔，携手魔搭ModelScope、宁波工业互联网研究院、研扬科技、Xorbits、浙江人形机器人创新中心、亿琪软件、上海交通大学宁波人工智能研究院、InnoSpace等多家机构共同举办的科技盛宴，不仅为与会者揭示了AI大模型的最新进展，更为工业智能、机器人、边缘计算等多个领域描绘了创新应用的广阔图景。

大模型背景下工业智能的挑战和应用

宁波工业互联网研究院机器人事业部副总监刘洋先生热情开场，他在致辞中分享了研究院作为科研与产业桥梁的重要使命，以及携手各方共同促进AI技术迭代与落地应用的决心。

魔搭开源社区大模型推理生态

在论坛分享环节上，首先来自魔搭社区的首席架构师陈颖达介绍了魔搭的开源社区及其在模型推理生态的贡献，特别是Motorscope上的DashInfer推理引擎，一个自研且开源的支持生产级CPU推理的工具，旨在优化大模型推理，已在多种硬件、语言和操作系统上实现高性能支持。魔搭致力于构建模型易于获取与应用的生态，并通过与OpenVINO™️等合作，简化开发者使用模型的过程。DashInfer引擎针对云上服务设计，提高推理效率和精度，支持多样模型结构，并计划增加对新模型架构和量化方法的支持，以及加强长序列处理能力，未来还将强化对Mac操作系统的兼容性。

OpenVINO加速AI大模型本地部署

英特尔开发者技术推广经理李翊玮分享了AI大模型在产业端的落地应用及开发中遇到的痛点。AI市场快速增长，预计到2032年将达到巨大规模，每个公司都将向AI公司转型。边缘计算变得重要，因终端更贴近数据源且算力提升使得AI应用能在设备端实现。讨论了AI模型在终端部署的挑战，如模型大小、内存占用、推理速度慢、训练成本及跨平台优化问题。并介绍了英特尔的解决方案，如OpenVINO™️开发包，能优化模型并简化跨CPU、GPU等硬件的部署，同时强调了开源工具和社区支持，以及最新硬件如酷睿Ultra系列的AI功能，展现了AI在边缘计算上的多种实际应用案例，并鼓励开发者参与边缘解决方案挑战赛。

大模型背景下工业智能的挑战和应用

AI在工业应用中，从自动化到信息化，现正融入智能化，超越了工业4.0预期。现场应用分边缘端实时监控与云端大数据分析，如工人的合规操作检测及供应链优化。面临的挑战包括技术融合难度、人才缺口、数据协同等。针对以上问题，宁波工业互联网研究院机器人事业部副总监刘洋先生在分享中提到，研究院提出了AI-PAC概念，借助统一软硬件平台缩短开发路径，加速AI在工业的无缝落地，旨在实现更高效、低成本的智能化转型，同时也分享了多项在实际场景中的应用案例。

边缘AI与大模型推理侧本地部署

当前正处于AI大模型时代，生成式AI正改变着生活和工作方式，比如用AI生成文本、图像等。研扬科技市场总监陈栋分享了研扬科技对于AI的见解，特别是生成式AI的发展与应用。相比以往专注于决策的小模型，现在的AI更能进行创造与模拟。产业中，大模型通过与行业数据结合，实现更高精度和新功能，如制造业的质检提升。同时，边缘端的大模型部署需考虑成本与效率，通过量化压缩等技术适应不同硬件，以实现降本增效。整体上，AI正快速从通用走向行业深度应用。

大模型时代的分成式推理平台

杭州未来速度科技是一家专注于大语言模型领域的创业公司，成立一年余，主推开源项目Xinference，旨在帮助用户有效利用大语言模型进行推理，而非从零开始训练新模型。联合创始人兼CEO在分享中介绍到项目核心在于优化推理过程，通过技术如KV Cache、Continuous Batching、Speculative Decoding等提升效率，解决大模型推理的高成本与复杂性问题。同时，Xinference还致力于简化模型部署，支持多硬件平台与模型管理，集成生态模型，实现从个人到生产环境的广泛适用性。

大模型+移动机器人

浙江人形机器人创新中心技术总助许学成在分享中讨论了移动机器人技术与大模型融合的应用优势，特别是在提升导航智能性方面。大模型使机器人能在公共引导、家务处理等场景下，通过理解和执行复杂指令，直接完成任务，无需人工引导，增强互动性与实用性。技术上，大模型的推理能力与传统导航技术结合，简化架构，提高规划效率与安全性。并通过案例演示了机器人通过大模型理解指令，自主导航至目标点，并能适应环境变化，展示了技术在简化任务执行、提高响应速度方面的潜力。未来方向涉及将此能力整合进更广泛的应用领域，包括游戏等，最终实现端到端的学习与决策过程，大幅优化现有系统。

基于EdgeX+OpenVINO的边缘智能融合网关

亿琪软件CEO褚建琪介绍了EdgeX Foundry项目的起源与发展，EdgeX Foundry是一个开源边缘计算框架，支持多类型设备接入，具备基础设施属性且厂商中立。它包含设备服务层用于对接不同设备，以及核心层处理数据格式化与指令控制，支持规则引擎定制业务逻辑。结合OpenVINO™️的ModelServer，能高效运行AI模型，实现快速集成和管理。并且，它支持模型与应用解耦，易于更新升级，可部署于单机或多机环境，灵活适应不同规模的摄像头和产线需求，还能无缝对接云平台，简化运维管理。在分享中，褚总还通过几个有趣的视频演示了如何通过EdgeX Foundry结合设备实现场景应用。

可持续AI的技术路径：微流体逻辑运算

上海交通大学宁波人工智能研究院智能装备与系统实验室副主任王林则讨论了可持续AI的技术路径，着重于算力与电力的平衡，提及Hopper和Blackwell的高电力消耗问题，指出AI能源消耗巨大。为解决此问题，提出了AI是否需要“睡觉”、使用忆阻器融合计算与存储以及发展量子计算等策略。介绍了微流体领域的研究，旨在创建可控的微气泡及模拟逻辑门，以此探索构建流体计算机的可能性，实现类似电子电路的功能，同时确保AI的可持续发展。

除了多维度的深入讨论分享外，本次活动还邀请了来自英特尔、宁波工业互联网研究院、云深处科技、亿琪软件、研扬科技、VIRobot等多个解决方案进行现场展示和交流。

本次活动不仅是一次知识的盛宴，更是一个促进合作与创新的桥梁。来自全球的AI专家、企业家、高校学者及开发者共聚一堂，通过面对面的深入交流，不仅增进了对AI大模型技术迭代与应用落地的理解，也激发了对未来产业变革的无限遐想。随着这些前沿技术的不断成熟与应用，无疑将加速推动社会进入一个更加智能、高效、可持续发展的新时代。

让我们期待下一次的相聚，继续携手探索AI科技的深邃海洋。