一、背景和特点
多模态理解对人工智能至关重要。目前,多模态应用研究的主要方向有:视觉问答、图像字幕、视觉对话、虚拟助手、社交媒体内容检测等。
MMF(MultiModal Framework)是Facebook开源的基于PyTorch的多模态人工智能模型框架。MMF提供了先进的视觉语言预训练模型,以及大量现成的标准数据集、通用层模型组件、训练推理实用工具等。
MMF有助于将研究快速推向生产,已经被Facebook产品团队应用到多模态实际任务中,其主要特点有:
-
可用性:提供12个以上先进的预训练模型、大约20个自动下载的数据集、完整的文档和教程、干净易于扩展的API、多模态挑战任务起始代码等;
-
模块化与可配置性:提供编码器、解码器等模块化组件,支持从头开始建立模型和数据集,提供基于OmegaConf的新型配置系统;
-
可扩展性:提供分布式训练支持,以及用于启动大规模SLURM作业的扫描脚本,提供检查点、提前停止和其他功能,使训练和评估更加容易。
二、框架安装
获取源码并安装:
git clone https://github.com/facebookresearch/mmf.git
cd mmf
pip install -r requirements.txt
pip install --editable .
注:pytorch版本安装1.5.0