日前,TsingtaoAI推出的“具身智能高校实训解决方案-从AI大模型+机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore,完成并通过昇腾相互兼容性技术认证。
TsingtaoAI&华为昇腾联合解决方案
本项目“具身智能高校实训解决方案”以实现高校内的AI大模型与机器人技术结合为目标,提供从多模态感知到任务执行及反馈优化的完整架构。基于华为昇腾AI基础设施及昇思MindSpore框架,项目在技术深度、应用广度和创新性方面具有显著优势。架构包含以下四层逻辑模块:
1. 多模态感知层
该层通过融合语音、视觉及触觉数据,实现对物理环境的全面感知:
- 语音感知:利用如Whisper等自然语言处理模型将语音转化为文本,并解析指令意图。
- 视觉感知:采用深度相机构建三维环境模型,实现物体识别与空间定位,为任务提供视觉输入。
- 触觉感知:机械臂末端搭载力矩传感器,实时反馈抓取力,确保动作的安全性与精确性。
2. 多模态理解与决策层
- 多模态融合:通过华为昇思框架整合语音、视觉及触觉信息,利用如Yi-Large、CogVLM2等大语言模型解析复杂指令(如“将蓝色圆柱放在红色方块旁”ÿ