多模态 跨模态｜人机交互新突破！

我们对世界的认知和体验是多模式的，我们看向窗外，听到雨滴，闻到青草的味道，触摸到木板的纹理... 某种意义上来说，AI 就是赋予机器类人的感知和智慧，想要让 AI 理解我们周围的世界，它需要同时解释和推理这些多模式信息。

多模态、跨模态就是这样一个充满活力的领域，可以处理和关联来自多种模态信息的模型，具有非凡的潜力和越来越重要的意义。

介绍

多模态应用：让 AI 能够观察同一现象的多种模式，捕获到互补的信息，让预测结果更加可靠。比如电影，通过图像、音频、字幕文本以实现多种模态的理解。

跨模态应用：将源模态映射到目标模态，比如输入一句话，生成与文字高度匹配的一张图。

为什么我们需要多模态、跨模态

多、跨模态应用能够打造全新的用户体验，用户可以使用任何模式的组合来输入和输出，包括但不限于：Verbal(文本)、Vocal(语音)、Visual(视觉)。随着搜索媒介的丰富，搜索领域也正在发生变迁。

可以说，跨模态和多模态应用颠覆了传统单模态的互动方式，在可预见的未来里，我们将迎来一个全内容搜索的世界，无论是文本，图片，语音，视频，代码，元数据等等都可以作为输入源，做到全域全方位的搜索。

每一个时代都有符合当下的范式，正如在计算机程序设计从面向过程范式迈向面向对象的范式。Elasticsearch 代表了文本搜索时代的最佳实践，而 Jina 代表了在多模态、跨模态时代的搜索范式和最佳实践。新的设计范式意味着更清晰简洁的工程架构，业务逻辑和更强的可维护性。对于那些需要从 0 到 1 去开发多媒体搜索 AI 的开发者和公司，Jina 能够帮助节省大量的时间。

目前的挑战

• 缺少匹配数据：如何提取相互对应的单模态特征表示，用于多模态融合

• 缺少设计模式：如何一致地表示、计算、存储和传输不同模式的数据

• 缺少开发框架：如何找到一个可以表示多种模态的标准数据结构

• 复杂的开发流程：如何在应用中结合多种不同的模态

• 难以测试的应用：如何确保各种模态都能正常工作，以及用户的使用体验

Jina 是搭建多模态、跨模态应用的首选解决方案

1. 1. 从 DocArray 开始设计原型

2. 2. Jina 将它变成服务

3. 3. 你可以参考 Jina Hub 里的组件，加速开发进度

4. 4. 接着，你可以使用 JCloud 部署项目

5. 5. 如果对准确率、召回率不满意，可以使用 Finetuner 对模型调优

6. 6. 如果你处理的数据是文本和图像，可以使用 CLIP-as-service 作为向量服务

点击 阅读原文，填写社区用户问卷，赢取幸运周边！

加入 J-Tech 交流群

官网：Jina.ai

社区：Slack.jina.ai

开源：Github.com/Jina-ai

扫码加入讨论组

更多精彩内容（点击图片阅读）