论文名称:X-modaler: A Versatile and High-performance Codebase for Cross-modal Analytics
论文链接:https://www.aminer.cn/pub/6125b6a95244ab9dcb41d670?f=cs
随着深度学习在过去十年内的兴起和发展,持续地创新和突破推动了多媒体领域视觉和语言之间的跨模态分析技术的发展。然而,还没有任何开源的代码库支持以统一和模块化的方式训练和部署的众多跨模态分析的神经网络模型。在此项工作中,我们提出了X-modaler,这是一个多功能、高性能的代码库,它将最先进的跨模态分析分成几个通用的阶段(例如,预处理、编码器、跨模态交互、解码器和解码策略)。每个阶段都涵盖了在一系列先进技术中被广泛采用的模块功能,并允许在两者之间无缝切换。这种方式能够自然灵活地实现最先进的图像字幕、视频字幕和视觉语言预训练的算法,旨在促进研究界的快速发展。同时,由于几个阶段的有效模块化设计(如跨模态交互)在不同的视觉语言任务中是共享的,X-modaler可以简单地扩展到跨模态分析的其它任务的启动原型,包括视觉问题回答、视觉常识推理和跨模式检索。
AMiner,让AI帮你理解科学!https://www.aminer.cn
11-28
1206
11-27
1069
11-27
1087
11-15
242
“相关推荐”对你有帮助么?
-
非常没帮助
-
没帮助
-
一般
-
有帮助
-
非常有帮助
提交