超级会员免费看
Donut是一种新型的无需OCR的视觉文档理解（VDU）模型，直接从图片中理解文档内容。它解决了依赖OCR的模型存在的高计算成本、语言灵活性和错误传播问题。Donut基于Transformer架构，通过预训练和微调学习阅读和理解文本。实验证明，Donut在速度和准确性上达到了最先进的水平，适用于文档分类、信息提取和视觉问答等任务。
一听这概念就知道牛逼，以前文档识别要先OCR，再进行文档理解，OCR错误会传递给文档理解模型，而且花的时间长。这模型直接理解图片文档，如果识别率达到人类水平，那以后给学生辅导试卷作业不错啊。另外就是那些合同、说明书直接传给模型，再提问题就好了！还能模拟生成文档图片，这这样生成具有特定字符图片的图像就可以搞定了，与stable Diffusion等模型结合，有很大想象空间。
论文地址：https://arxiv.org/pdf/2111.15664v5.pdf
GitHub：https://github.com/clovaai/donut
chatgpt：
订阅专栏 解锁全文
扫一扫
384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
