分享回顾 | 多模态数据漫谈

Jina AI 机器学习工程师付杰应 DataFun 和新氦技术沙龙邀请，进行了多模态技术相关主题分享，本文为分享回顾。

没来得及观看直播的小伙伴，可点击下方小程序，查看完整回放：

【Show Notes】 

00:01     付杰及 Jina AI 简介

04:07     单模态、多模态数据的异同

10:00     学术界如何处理多模态数据 

10:05     多模态表征

17:15     多模态预训练

33:40     多模态数据在工业上的应用

38:43     Jina 在多模态场景下的应用

38:56     用 Jina 搭建视频搜索 demo

47:29     AI 生成艺术 Dalle Flow

关注 Jina AI 公众号，后台回复【多模态】，获取完整 PPT。

多模态数据的五大挑战

1. 表征：利用多模态的互补性和冗余性的特质，来表示和总结多模态数据

2. 翻译：从一种模式转换为另一种模式

3. 对齐：识别多种模态的要素（子要素）间的直接关系

4. 融合：将两个或多个模式的信息连接起来

5. 协同学习：在不同模态、表示、预测