大模型加速学科升级，飞桨赋能北邮“X+大模型”特色小学期

在人工智能时代，设计师与产品经理比以往更加需要关注一个事实：那就是如何利用人工智能和数据分析技术，打造让用户心动的信息交互产品和用户体验，释放人-机协同共创的巨大潜能，是决定设计产能和竞争力的关键。

在产业的巨变之下，北京邮电大学侯文军教授联合百度飞桨团队，共同设计了《从情节到交互：UX+AI，打造多模态信息交互产品》特色工作坊，在这个为期一周的工作坊中，在飞桨Jungle老师团队的带领下，同学们通过学习多模态数据分析与大模型技术，以影视片为多模态信息源，逐步从图像、声音和文本中开展数据驱动的设计分析，最终将电影的多模态信息转化为引人入胜的多通道交互产品，产出真实项目。

课程培养目标

多模态人工智能技术理解与应用能力

了解多模态人工智能技术的原理、算法和应用，掌握如何利用这些AI技术来分析电影中的文本、图像和声音等多模态信息，并结合飞桨和大模型工具，转化为交互式应用的设计素材与流程。

数据分析与创新思维

学会使用多样化的数据分析工具和方法，从电影数据中提取有价值的信息和洞见。培养创新思维和以用户为中心的设计理念，发掘电影的被动式观赏与主动式交互应用之间的结合点，从电影情节中，策划产品的独特功能价值和交互流程。

交互设计能力

利用多模态的设计能力，在视觉、听觉和触觉等方面，设计直观且吸引人的多感官界面，将电影元素与界面设计相结合，创造出令人印象深刻的交互式应用设计，提供良好用户体验，有效和舒适地传达信息和故事。

团队协作与项目管理能力

与其他参与者组成团队，共同合作开发一个电影交互式APP原型。学会有效的团队协作，包括任务分配、沟通和协调。获得项目管理的实践经验，学会规划、执行和监控项目进展。

部分课程内容

部分课程内容如下：

• 小学期主题及实践任务解析

• 人工智能技术现状、多模态人工智能技术与设计的结合

• 多模态与智能交互设计融合系列课程

• 项目课题：基于电影多模态信息的多通道交互产品设计

部分项目成果

为期5天的工作坊，时间十分紧张。在这么短的时间内，要求同学们不仅要学习和消化全部的课程内容，还需要高质量完成课题项目——这对他们的学习力、创造力，特别是爆发力，都提出了巨大的考验。

工作坊的57名大三同学，均来自享誉全国的北邮智能交互设计专业，该专业依托北京邮电大学的信息科技优势，立足“新工科”培养理念，培养“人工智能+交互设计”的复合型精英人才。57名同学，通过相互组队，最终产出了25个内容丰满的项目。

项目示例一

杨闪、孙沛然和车皓远同学，选取电影《爱乐之城》开展多模态信息挖掘与产品设计。他们通过 K-Means 聚类方法，分析和提取了象征不同季节和情感阶段的主题色，以及代表不同情绪风格的音效，将其作为交互产品的设计素材。

在影片中，男女主角载歌载舞，洋溢着活力与优雅，此时此刻，三位同学提出了一个问题：对不会跳舞的人，他们如何能享受歌舞所带来的快乐？

借助 PP-TinyPose，产品可以将特定的用户照片，转化为电影中经典舞蹈的视频进行复刻，让用户也能像电影中的角色，载歌载舞！

项目示例二

朱芃宇、范星兰和程力昊同学，探索的电影是《天使爱美丽》。他们基于故事情节、画面和声音等多模态信息，打造了全新的照片社交产品——Moment。

该产品旨在驱动身在不同时空的用户，为彼此拍摄一张将实体明信片与周围环境进行合影的照片，使用户感到明信片与周围风景，都是专门为他们而拍摄的。以此通过强调该照片的独特性和定制性，让用户在收到照片时感受到被特别重视和关注，并从此与陌生人建立一种美妙的时空关联。

借助文心跨模态大模型 ERNIE-ViLG 的参考图模式，用户照片可以被产品进行风格化，这样既避免了个人信息的泄露，又得到了更多的艺术可能性；在社交网络数据提取及用户匹配方面，团队选择 ERNIE-UIE 模型，能更精准地提取和匹配地理位置、机构、建筑等信息，辅助用户找到“远方的朋友”；在明信片内容辅助生产方面，产品则是利用飞桨版 SAM，从摄影照片得到语义内容，并作为 ERNIE-BOT 的文本提示词，从而帮助用户更快地产出明信片设计与文字稿。

相关链接

• “分割一切”大模型SAM、超轻量PP-MobileSeg、工业质检工具、全景分割方案，PaddleSeg全新版本等你来体验！

• 通用信息抽取技术UIE发布！

项目示例三

侯家祺、徐瑞宁和秦一硕同学，选取的电影是《佛罗里达乐园》。通过图像与音频聚类，提取主题色和具有代表性的音效，而这些梦幻的色调和热闹的声音，准确反映了孩子们视听世界的特征。

三位同学的产品定位，则是通过 AR 交互式虚拟恶作剧，来帮助用户进入到《弗罗里达乐园》的世界，以第一视角体验各类恶作剧，获得解压。

这款多模态 AR 实景交互 AR 游戏，具有极强的电影内容关联性，借助 PaddleSeg 的能力，许多现实元素能够被自动分离和提取，并融入到剧情，在用户与其交互过程中，产生更深层次的剧情体验。

项目示例四

徐茗和陳珮雯同学，则是基于电影《浪矢解忧杂货店》多模态信息，打造了一款现实版 AI 浪矢爷爷。他们将电影海报中的“杂货店”，通过 ERINE-ViLG 进行了“翻新”；并提取了浪矢爷爷的回信文本，作为小样本数据集，在 AI Studio 大模型社区打造了相同“话风”、同样能够进行回信的“AI浪矢爷爷”。

项目示例五

杨若望、杜尧和刘先胜同学，从电影《阿凡达》中，提取了“冥想”的设计理念和独特的色彩模式。利用文心跨模态大模型 ERNIE-ViLG ，团队的三位男生，通过简单的 prompt，就能为自己生成特定主题且具有一定连续性的系列设计素材，成为自己产品中的关键元素加速了产品的创意表达。

由于篇幅有限，还有很多同样优秀精彩的团队项目没有介绍，相信在未来，我们将有更多的机会和场合进行分享。

北京邮电大学侯文军教授表示，大模型正在真真切切地驱动企业与产品的代际变革，并在实际落地的过程中，产生真实的价值。大模型+设计，将带来企业与产品变革的全新势能，这次校企融合的实践课程，让同学们开展前沿科技的应用探索，产生丰硕的成果，大家都获益匪浅。当前面向新一轮产业变革，更多的任何学科和产业，都将在大模型技术的推动下，迎来自己的“iPhone”时刻。

期待你的加入！

刚才的项目，和“创意”很相关。说起“创意”，这里，我们要明显地做一个广告了：欢迎创意无限的你，带着梦想与技术，参加中国高校计算机大赛人工智能创意赛！

扫码进群

报名链接

https://aistudio.baidu.com/aistudio/competition/detail/1026/0/introduction

关注【飞桨PaddlePaddle】公众号

获取更多技术内容~