Datawhale x Jina AI 联合推出跨模态神经搜索教程!本教程基于 MLOps 框架 Jina 与 CLIP 模型搭建,通过前后端分离的模式,帮助你快速地搭建自己的神经搜索应用,接触前沿的多模态 AI 技术。
教程背景
在当下互联网信息爆发且形式愈加丰富的背景下,多模态、跨模态的人工智能崛起。单一模态往往难以提供对图文、视频等信息的完整描述,而多模态人工智能颠覆了传统单模态的互动方式,用户可以使用任何模态的组合进行输入输出,包括且不限于文本、图像、视频、音频等,为计算机提供更接近于人类感知的场景,打造了全新的用户体验。
本次跨模态神经搜索实践教程由 Datawhale 和 Jina AI 社区联合推出。
教程亮点
有别于传统的搜索引擎的关键词匹配,本教程带你实现的是一个跨模态的神经搜索,通过输入对画面的描述文本即可获得高度对应的视频片段。
如图,输入“几个戴着麻将面具的人”,就能得到如下的视频片段。
教程内容
内容说明:教程以 Jina 框架[1]和 CLIP 模型为基础,生动介绍了如何从零搭建起一个跨模态的神经搜索应用。从环境搭建,到容器化部署,每一步教程贡献者们都提供了清晰的文档。
学习路线<