汽车智能化多模态交互

传统的AI模型通常只处理一种类型的数据，如文本或图像。然而，现实世界中的数据通常是多模态的，包括文本、图像、音频、视频等。多模态大模型是一种人工智能模型，它可以根据多种类型的输入（例如文本、图像或视频）进行学习并产生输出。这意味着它可以理解和生成不同种类的数据，而不仅仅是单一模式的信息。

多模态大模型一览

在汽车垂类场景，单一的文本展示/问答无法满足用户，视觉内容的呈现可以更直接、高效的触达用户的需求。基于此，我们研发了多模态大模型，结合了文本、图片、视频等信息，让用户可以轻松可以获取有效信息。
多模态大模型可以基于文本问答模式的基础上，召回汽车之家更多专业、真实的图文和视频素材。纯文本问题可以解决用户在检索汽车价格、油耗、尺寸、参数等问题；当加入图片信息后可以解决用户在检索汽车外观、内饰、仪表盘、座椅等问题；当加入视频信息后可以检索汽车灯光效果、中控操作演示、舒适性等问题。
比如当我们使用大模型检索新款奔驰GLC和宝马X3大灯有什么区别？

语言大模型回答结果

多模态大模型回答结果
可以看出多模态大模型在文本展示的基础上，会增加视频的素材，可以使用户获取信息更直观、高效和具有吸引力。
多模态大模型相较于传统大模型使用方式一样，用户只需输入检索的问题，即可获得响应，当多模态大模型解析到用户的意图命中素材库中的图片和视频后，会进行召回展示。目前汽车之家多模态大模型包含结构化视频素材30万+，图片素材600万+；覆盖40+点位，1000+车型车系；融合参配、实测、解读、价格/销量等多维度信息；支持对比，任意组合一镜展示等能力。

汽车之家智能多模态交互框架

汽车之家多模态特征分析网络

多模态大模型应用的范围很多，如在大模型问答、视频生成等领域都可以发挥重要作用。在大模型问答方面可以通过召回图片、视频等素材提升用户互动和增加用户粘性。在AIGC视频生产方面，多模态大模型可以提供站内新车资讯、热点文章、双车对比文章，服务于内容生产，提升内容质量、解决内容供给不足等问题。