超级会员免费看
本文探讨了多模态大模型在处理高分辨率文档时的挑战，重点介绍了DocPedia、Monkey和Vary三个研究。DocPedia利用频域处理提高对密集文档的理解，Monkey强调了图像分辨率和文本标签的重要性，而Vary提出了一种扩充视觉词表的方法以适应复杂视觉场景。这些研究旨在增强模型的感知和认知能力。
Overview
多模态大模型：关于分辨率那些事儿
一：DocPedia
1.0 总览
题目: DocPedia: Unleashing the Power of Large Multimodal Model in the Frequency Domain for Versatile Document Understanding
机构：中科大，字节
论文: https://arxiv.org/pdf/2311.11810.pdf
代码: 未开源
任务: OCR-free document understanding（感知与认知）
特点: 非像素空间，而是频域空间处理
前置工作：LLaVAR [55], mPLUG-DocOwl [51], and UniDoc [9]，Donut [18], KOSMOS-2.5 [31], and Pix2Struct [20]，UReader [52]
订阅专栏 解锁全文
扫一扫
1303
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
