原为NLP而生的Transformer架构,在2021年不断被科技巨头证实能同时处理图文、影片等多模态能力,微软、Line也纷纷预告要用来打造企业级AI服务。展望2022年,企业将见到多任务多模态AI服务的新选择。
一套模型通吃多任务,是迈向通用AI的关键一步
微软举例,以Transformer打造的多任务AI模型Florence v1.0,可用来优化自动加注图说功能。未优化前,该功能形容一张照片是一群棒球员站在草皮场上,优化后则是一群橄榄球员正在庆祝,更贴切照片内容。
这个顶尖专家努力钻研数十年的题目,在2021年,有了新的大变化。各大科技巨头相继发现,原本擅长自然语言处理(NLP)的Transformer架构,也能用来同时解决文字、影像,甚至是影片等不同模态的任务,效果还更好。
TrOCR手写辨识和影印辨识超强
比如在2021年10月,微软亚洲研究院揭露了一款超强OCR工具TrOCR,完全不需要计算机视觉专用的卷积网络(CNN&#