多模态大模型：关于分辨率那些事儿

已于 2023-12-28 20:20:32 修改
阅读量602 收藏 11
点赞数 9
分类专栏： 多模态大模型 文章标签： 人工智能 论文阅读 AIGC 计算机视觉 深度学习
于 2023-12-09 16:00:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pku_langzi/article/details/134895947
版权
本文探讨了多模态大模型在处理高分辨率文档时的挑战，重点介绍了DocPedia、Monkey和Vary三个研究。DocPedia利用频域处理提高对密集文档的理解，Monkey强调了图像分辨率和文本标签的重要性，而Vary提出了一种扩充视觉词表的方法以适应复杂视觉场景。这些研究旨在增强模型的感知和认知能力。
摘要由CSDN通过智能技术生成

Overview

多模态大模型：关于分辨率那些事儿

一：DocPedia

1.0 总览

题目: DocPedia: Unleashing the Power of Large Multimodal Model in the Frequency Domain for Versatile Document Understanding
机构：中科大，字节
论文: https://arxiv.org/pdf/2311.11810.pdf
代码: 未开源
任务: OCR-free document understanding（感知与认知）
特点: 非像素空间，而是频域空间处理
前置工作：LLaVAR [55], mPLUG-DocOwl [51], and UniDoc [9]，Donut [18], KOSMOS-2.5 [31], and Pix2Struct [20]，UReader [52]

1.1 研究动机

了解本专栏 订阅专栏 解锁全文 超级会员免费看
猴猴猪猪
关注
专栏目录
订阅专栏
多模态大模型：关于Better Captions那些事儿
pku_langzi的博客
12-23 901
几篇代表性文章，借助改善图像caption数据，用于提升LMM能力，比如ShareGPT4V，CAPSFUSION
多模态大模型：关于RLHF那些事儿
pku_langzi的博客
12-24 937
RLHF在多模态大模型方面的应用
干货！用于多模态深度图超分辨率的离散余弦变换网络
AITIME_HY的博客
09-13 859
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！赵子祥：西安交通大学数学与统计学院博士在读，师从张讲社教授，现为哈佛大学计算机科学系访问博士，导师为Hanspeter Pfister教授。研究方向为底层视觉，图像增强，多模态信息融合。多模态深度超分辨率是多模态图像处理中的一个重要课题，它借助同一场景的高清RGB图像从在次优条件下收集的低分辨率深度图重建高分辨率深度图。为了解决在解释工作机...
Monkey：多模态大模型在高分辨率图像与详细描述任务中的卓越表现
我爱计算机视觉
12-10 1634
关注公众号，发现CV技术之美本文简要介绍由华中科技大学联合金山的研究人员提出的多模态大模型Monkey(Monkey : Image Resolution and Text Label Are Important Things for Large Multi-modal Models)，通过低成本扩大分辨率+详细描述，帮助模型炼就洞察图像细节的火眼金睛，刷新多项SOTA，甚至能够完成GPT4V都发...
突破分辨率极限，字节联合中科大提出多模态文档大模型
量子位
12-04 155
克雷西 发自 凹非寺量子位 | 公众号 QbitAI现在连文档都有大模型了，还是高分辨率、多模态的那种！不仅能准确识别出图像里的信息，还能结合用户需求调用自己的知识库来回答问题。比如，看到图中马里奥的界面，直接就回答出了这是任天堂公司的作品。这款模型由字节跳动和中国科学技术大学合作研究，于2023年11月24日上传至arXiv。在此研究中，作者团队提出DocPedia，一个统一的高分辨率多模态文档...
低成本扩大输入图像分辨率，华中科大开源Monkey大模型，解锁密集文本问答的潜能
wisemodel的博客
12-20 937
在给定的高分辨率的图像，通过滑动窗口将图像划分为更小的局部区域，然后Monkey对每个图片局部区域的编码器都增加了独立的Lora来识别和吸收每个图像区域的细节敏感特征，从而增强对空间和上下文关系的理解。开源社区发布的Monkey多模态大模型，输入分辨率支持896 x 1344像素，基于具有详细描述的高质量图文数据进行训练，在涉及图像文字、视觉问答、文档分类以及图像理解等多模态任务的18个不同的数据集上进行了测试，Monkey在其中16个测试数据集上皆取得SOTA的成绩。Monkey模型基准测试对比图。
OCR-free相关论文梳理
有问题请直接说问题就好
03-13 1293
Donut的结构有些像Text Spotting任务（检测和识别都在一个模型中完成），但是Donut做的要比Text Spotting任务更进一步。该工作将OCR中多个子任务都集成到了一个End-to-End的网络中，网络是基于transformer的编解码结构。这应该是第一篇将Transformer 编解码结构应用到整个OCR任务中的工作，包括文档分类、文档信息提取和文档问答三个任务。现阶段，Transformer技术的发展，让通用文档理解任务变得不再是那么遥不可及，出现了很多OCR-free的工作。
2023年的深度学习入门指南(24) - 处理音频的大模型 OpenAI Whisper
lusing的专栏
07-31 3864
在这一讲之前，我们所用的大模型都是针对文本的。这一讲我们增加一个新的领域，即音频。我们将介绍OpenAI的Whisper模型，它是一个处理音频的大模型。
贾扬清：大模型尺寸正在重走CNN的老路！马斯克：在特斯拉也是这样...
阿木寺的博客
08-03 33
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！衡宇 发自 凹非寺转载自：量子位（QbitAI）Transformer大模型尺寸变化，正...
《AI大模型应用》-《多模态大模型：新一代人工智能技术范式》 .zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
多模态大模型：技术原理与实战 多模态大模型评测数据集
AI天才研究院
07-17 917
多模态大模型：技术原理与实战 多模态大模型评测数据集 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词： 多模态大模型，技术原理，实战案例，评测数据集，自然语言处理，计算机视觉，融合技术
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1116
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
多模态革新：Ferret-v2在高分辨率图像理解与细粒度交互的突破
人工智能讲师分享前沿技术
06-14 2015
在多模态大型语言模型（MLLMs）的研究中，如何将视觉理解能力与语言模型相结合，以实现更精细的区域描述和推理，是一个重要的研究方向。先前的工作如Ferret模型，通过整合区域理解能力，提升了模型在对话中的指代能力。然而，这些方法通常基于粗糙的图像级对齐，缺乏对细节的精细理解。为了解决这一问题，研究者们开始探索如何提升MLLMs在详细视觉理解任务中的表现。
深度学习之循环神经网络(RNN)
weixin_43775295的博客
11-12 294
其一般处理单个的输入，前一个输入和后一个输入完全无关，但实际应用中，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。​ 由于RNN特有的memory会影响后期其他的RNN的特点，梯度时大时小，learning rate没法个性化的调整，导致RNN在train的过程中，Loss会震荡起伏，为了解决RNN的这个问题，在训练的时候，可以设置临界值，当梯度大于某个临界值，直接截断，用这个临界值作为梯度的大小，防止大幅震荡。中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。
AI 大模型如何重塑软件开发流程与模式
lssffy的博客
11-12 245
在传统的软件开发流程中，开发者从需求分析开始，到架构设计、编码、测试、部署和维护，整个过程往往需要花费大量的时间与人力。开发者需要从零开始编写代码，并通过反复的调试和测试来确保代码质量。这种方式虽然严谨，但效率相对较低，并且容易出现人为错误。而 AI 大模型的加入为软件开发带来了革命性的变化。代码生成工具如 GitHub Copilot 等，能够根据开发者的自然语言提示自动生成代码，甚至能够理解上下文，从而大幅减少重复劳动。智能调试和测试工具可以快速发现潜在的错误，给出修复建议。
PCA（主成分分析）算法的应用场景
huanfeng_AI的博客
11-09 389
需要注意的是，PCA并不适用于所有场景。例如，当数据之间存在非线性关系时，PCA可能无法完全揭示数据的内在结构。此外，PCA对初始变量的顺序和标签敏感，不同的变量顺序可能导致不同的主成分结果。因此，在选择数据分析方法时，需要根据具体的数据和任务需求来决定是否使用PCA。
探索App Intents：让你的应用与Siri无缝互动的新方式
jixn的博客
11-09 2922
苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。
【Node-Red】使用文件或相机拍摄实现图像识别
weixin_43195420的博客
11-12 539
使用文件或相机拍照实现图像识别
深度学习笔记13-卷积神经网络1
最新发布
weixin_51828505的博客
11-12 645
卷积神经网络（CNN），它是由多个卷积层、池化层和全连接层构成的前馈神经网络。在卷积神经网络中，包含了可训练的卷积核，这使得卷积神经网络具有强大的表征学习能力。卷积神经网络通过卷积层和池化层进行特征提取，通过全连接层和输出层进行分类。因此卷积神经网络是一种端到端的机器学习模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值