多模态 跨模态｜人机交互新突破！

我们对世界的认知和体验是多模式的，我们看向窗外，听到雨滴，闻到青草的味道，触摸到木板的纹理... 某种意义上来说，AI 就是赋予机器类人的感知和智慧，想要让 AI 理解我们周围的世界，它需要同时解释和推理这些多模式信息。

多模态、跨模态就是这样一个充满活力的领域，可以处理和关联来自多种模态信息的模型，具有非凡的潜力和越来越重要的意义。

介绍

多模态应用：让 AI 能够观察同一现象的多种模式，捕获到互补的信息，让预测结果更加可靠。比如电影，通过图像、音频、字幕文本以实现多种模态的理解。

跨模态应用：将源模态映射到目标模态，比如输入一句话，生成与文字高度匹配的一张图。

为什么我们需要多模态、跨模态

多、跨模态应用能够打造全新的用户体验，