盘点12种VLM多模态大模型，文档结构化抽取，谁最强！

最新推荐文章于 2025-05-19 10:04:29 发布
最新推荐文章于 2025-05-19 10:04:29 发布
阅读量806 收藏 9
点赞数 17
文章标签： 人工智能 数据库 算法 语言模型 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59164520/article/details/148056126
版权

img

docext提供了以下能力

  • 关键信息提取（KIE）：从非结构化文档文本中提取结构化字段。
  • 视觉问答（VQA）：通过问答评估对文档内容的理解。
  • 光学字符识别（OCR）：衡量识别印刷文本和手写文本的准确性。
  • 文档分类：评估模型对各种文档类型的分类准确性。
  • 长文档处理：测试模型在长篇、有丰富上下文的文档上的推理能力。
  • 表格提取：基准测试从复杂表格格式中提取结构化数据。
  • 置信度评分校准：评估模型预测的可靠性和置信度。

img

模型大比拼

img

  • gemini-2.5-flash-preview-04-17综合表现最强

img

  • 关键信息提取，识别和提取发票的名称、日期、金额和其他结构化数据

  • qwen2.5-vl-72b-instruct 在信息抽取方面能打

img

  • 文档问答：主要是问基于文本的问题和需要了解文档的视觉布局和结构的问题
  • o4-mini-2025-04-16 在问答方面还是具备优势的

img

  • OCR能力：主要识别包括手写文本、数字印刷文本和带变音符号的文本。处理各种字体、布局和文档条件，同时保持文本识别的高精度。
  • gemini-2.0-flash在ORC方面还挺强

img

  • 文档分类：主要是考察文档内容、结构和分配正确类别
  • qwen2.5-vl-72b-instruct以上的模型，都能做到99%以上

img

  • 长文档处理：包括跨多个页面维护上下文、了解文档结构以及从大型文档中准确检索信息。
  • 带有推理能力的claude-3.7-sonnet (reasoning:low)占优

img

  • 表格测试稀疏、密集、结构良好的和非结构化格式（例如，没有可见网格线的表），提取表结构、单元格之间的关系以及准确提取数字和文本内容。
  • 在这方面qwen2.5-vl-72b-instruct 垫底

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

vllm 推理vlm多模态大模型 InternVL使用案例；openai、requests接口使用
weixin_42357472的博客
08-10 1249
参考： 支持模型 https://docs.vllm.ai/en/latest/models/supported_models.html模型要升级到这： 部署： api参考：https://platform.openai.com/docs/guides/vision?lang=curl用base64传递图片
多模态大模型：技术原理与实战 微调实战
AI天才研究院
06-25 1452
近年来，随着深度学习技术的快速发展，人工智能领域取得了突破性进展，尤其是在自然语言处理和计算机视觉领域。然而，传统的单模态模型往往只能处理一种类型的数据，例如文本或图像，难以捕捉现实世界中多模态信息之间的复杂关系。为了解决这个问题，研究人员开始探索多模态学习，旨在构建能够同时处理和理解多种模态信息的模型。多模态大模型作为多模态学习的最新进展，通过整合来自不同模态的信息，例如文本、图像、音频和视频，能够实现更全面、更深入的语义理解。
盘点12种VLM多模态大模型，文档结构化抽取，谁最强？
damoxing1121的博客
05-15 505
文章介绍了docext平台提供的多种AI能力，包括关键信息提取、视觉问答、光学字符识别、文档分类、长文档处理、表格提取和置信度评分校准。同时，文章强调了AI大模型的快速发展，指出我国在短短一年内已有超过100个超10亿参数的大模型。文章鼓励读者尝试新兴行业，特别是AI大模型领域，预计到2025年将有1000万的人才缺口。此外，文章提供了学习AI大模型的资源链接，强调了学习AI大模型的系统性和持续努力的重要性。
盘点12种VLM多模态大模型，文档结构化抽取，谁最强！收藏这一篇就够了！！
2401_85325557的博客
05-15 429
OCR能力：主要识别包括手写文本、数字印刷文本和带变音符号的文本。处理各种字体、布局和文档条件，同时保持文本识别的高精度。 gemini-2.0-flash在ORC方面还挺强
51c大模型~合集94
whaosoft~aiotの开发板商城
12-22 1020
DeepSeek - R1 - Lite 的正确率为 0.611（33/54），o1 - preview 的正确率为 0.574（31/54），其他模型如 QwQ - 32B - Preview、K0 - math、InternThinker - Alpha 的正确率则相对较低，分别为 0.519（28/54）、0.426（23/54）、0.315（17/54）。最后，加强对模型可解释性的研究，探索有效的方法和技术，使模型的推理过程更加透明、可理解，增强用户对模型的信任和应用的可靠性。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4329
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
LLM - 多模态大模型的开源评估工具 VLMEvalKit 部署与测试 教程
AGI
12-09 1254
VLMEvalKit 是大型视觉语言模型设计的开源评估工具包，由 Open Compass 团队开发，它支持一键式评估体验，无需繁琐的数据准备工作，能够对多种视觉语言模型进行评估，并覆盖了多样化的任务场景。
多模态vlm综述：An Introduction to Vision-Language Modeling 论文解读
samoyan的博客,记录技术成长~
06-06 5497
论文：这里主要整理了多模态的技术发展历程，没有一些实验对比的数据。VLM家族：1）对比训练是一种广泛应用的策略，它采用正面例子和负面例子的配对方式。视觉语言模型（VLM）通过这种方式被训练，以针对正面配对预测出相似的表示，同时对于负面配对则预测出不同的表示。2）掩码技术是另一种训练VLM的策略，它通过重构给定的未掩码文本字幕中缺失的部分来实现。类似地，通过在字幕中掩码词语，也可以训练VLM来重构给定未掩码图像中的这些词语。
联想推出擎天AI适配中心，智能体部署开启“交钥匙”新模式
weixin_43735236的博客
05-16 535
根据中研普华产业研究院的《2025-2030年中国AI大模型行业竞争格局分析与未来趋势预测报告》分析，2025年中国AI大模型市场规模预计将突破495亿元，大模型技术正在全行业快速演进，其中智能体成为企业AI落地的重要形式，特别是在政务、金融、医疗等对数据可控性要求极高的行业，本地化部署几乎已成共识。面对快速演进的市场环境，ISV常常陷入部署难、适配难、交付慢等难题——擎天AI适配中心的推出，正是为了解决这些关键痛点，帮助开发者在智能体的部署过程中，跳过复杂的搭建过程，专注于业务模型开发与客户交付。
ApiHug 咋变成国外AI工具了呢？
程序员超级伴侣-ApiHug
05-16 1148
摘要：ApiHug是一个专注于API设计和开发的平台，提供高度描述性、模块化和可视化的体验。它集成了API资产的分发、监控和管理功能，支持全语言在IDEA中的智能自动补全、linting和语法高亮等。ApiHug通过标准化的API设计元语言，旨在提高API开发效率和团队协作。其主要功能包括API设计、代码生成、模块共享、版本控制和统一IDE支持。目标受众为API开发者和团队，使用场景涵盖API设计、性能监控和智能提示。用户可通过官网注册、安装插件并开始使用ApiHug的各类功能。
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1020
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 820
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
咖啡叶子病害检测数据集VOC+YOLO格式1468张4类别均为单叶子
FL1623863129的博客
05-17 603
标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["Cercospora","Miner","Phoma","Rust"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。标注数量(xml文件个数)：1468。标注数量(txt文件个数)：1468。
[模型部署] 1. 模型导出
ayiya_Oese的博客
05-16 1260
本文详细介绍了如何将深度学习模型导出为不同部署格式，包括ONNX、TorchScript等，并对比了各种格式的优缺点及适用场景。
ROS2使用yoloV12，V11，V10，V9，V8，V5等
最新发布
qq_35598561的博客
05-19 279
ROS2使用yoloV12，V11，V10，V9，V8，V5等
RiDoc：高效文档扫描与图像处理工具，助力高效办公
2501_90839605的博客
05-15 1195
高效压缩算法：在保证图像质量的同时显著减小文件体积，适合存储和传输需求。多格式兼容：支持主流图像格式（BMP/JPEG/PNG/TIFF）及PDF、Word文档的导入与导出。OCR功能强大：内置多语言OCR识别，可直接提取扫描文档中的文字并编辑，无需手动输入。操作便捷：界面简洁直观，拖拽式操作降低学习成本，支持一键扫描、批量处理。安全性高：提供水印添加、加密传输等保护措施，防止文档泄露或篡改。
数字人技术的核心：AI与动作捕捉的双引擎驱动（210）
m0_74825409的博客
05-18 664
AI 与动作捕捉技术的深度融合，正在重构数字人的 “生命体征”。随着 5G、AR/VR 技术的普及，数字人将从单一功能载体进化为具备自主意识的虚拟生命体，成为连接物理世界与数字空间的超级入口。未来的数字人不仅是技术的集合体，更是人类情感与智慧的数字化延伸。我们正站在一个新的时代起点上，见证着数字人技术带来的变革与创新。在这个虚实共生的新纪元中，数字人将与我们的生活、工作、娱乐深度融合，创造出无限可能的未来。
《Python星球日记》 第95天：分布式训练与推理
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 735
《Python星球日记》 第95天：分布式训练与推理，今天，我们将探索分布式训练与推理技术，这是解决大规模AI模型训练和部署挑战的关键方法
开源的跨语言GUI元素理解8B大模型：AgentCPM-GUI
直达开源前线，冲冲冲！
05-15 992
AgentCPM-GUI 是由清华大学自然语言处理实验室与 ModelBest 联合开发的开源大模型，基于 MiniCPM-V 架构，拥有 80 亿参数，专为移动终端 GUI 操作设计。该模型通过接收屏幕截图作为输入，自动执行用户任务，具备高质量 GUI 定位、中文应用适配、强化推理规划和紧凑动作空间设计等关键特性。在基准测试中，AgentCPM-GUI 在多个指标上表现优异，尤其在复杂 GUI 场景下的任务执行能力显著领先。其技术架构结合了多模态融合和强化学习，训练数据涵盖大规模双语 Android 数据
多模态大模型ai infra
04-14
<think>好的，我现在需要帮助用户了解多模态大模型的AI基础设施或架构，以及部署方面的内容。首先，我得理解用户的具体需求。用户提到了多模态大模型的基础设施、架构和部署，可能他们正在考虑如何搭建或应用这样的系统，或者想深入了解其技术细节。 接下来，我需要回顾已有的知识。多模态大模型通常处理多种类型的数据，比如文本、图像、音频等，因此架构需要支持这些数据的处理和融合。根据之前提供的引用，用户提到了LLM和VLM，也就是大型语言模型和视觉语言模型，这可能涉及到不同模态的融合技术。 然后，我应该考虑架构的关键组成部分。通常，AI大模型的基础设施包括数据处理层、模型训练层、推理层、资源管理和部署工具。对于多模态模型，可能还需要专门的模块来处理不同模态的数据，比如图像编码器、文本编码器等。此外，硬件加速如GPU和TPU的使用也是重要部分，因为大模型需要强大的计算资源。 部署方面，需要考虑模型优化技术，比如量化、剪枝和蒸馏，以减少模型大小和提高推理速度。同时，分布式训练和推理框架也是必须的，例如使用TensorFlow或PyTorch的分布式训练功能。另外，云原生部署和边缘计算可能也是用户关心的点，特别是如果应用场景需要低延迟或离线处理的话。 用户可能还关心如何确保系统的扩展性和稳定性，比如资源调度和容错机制。此外，安全性和数据隐私在多模态应用中同样重要，尤其是在处理敏感信息时。 我需要确保回答结构清晰，分点说明每个部分，并且引用提供的参考文献。比如，引用[^1]提到AI大模型在自然语言处理、计算机视觉等方面的应用，这可以支持多模态的必要性。引用[^2]提到整合语言能力和视觉认知，这与多模态架构的设计相关。 最后，生成相关问题时要涵盖架构设计、优化、应用场景和挑战，帮助用户进一步探索。需要确保问题具有针对性，能够引导用户深入理解多模态大模型的各个方面。</think>### 多模态大模型的AI基础设施与架构解析 多模态大模型（如GPT-4、CLIP等）通过整合文本、图像、音频等不同模态的数据，实现跨模态理解与生成。其基础设施和架构设计需满足**大规模计算、异构数据处理、高效训练与推理**等需求。以下是核心架构组件及部署要点： --- #### 一、核心架构设计 1. **数据预处理层** - **多模态数据融合**：设计统一的数据表示（如向量嵌入），将文本、图像、音频映射到同一语义空间，例如通过对比学习（Contrastive Learning）对齐特征[^1]。 - **分布式存储**：使用分布式文件系统（如HDFS）或云存储（如AWS S3）管理海量异构数据。 2. **模型训练层** - **混合模态建模**：采用多编码器-单解码器架构（如Transformer），例如CLIP的图文双塔结构[^2]。 - **分布式训练框架**：基于PyTorch的`FSDP`（完全分片数据并行）或TensorFlow的`TPUStrategy`，支持千亿参数规模的训练。 3. **推理服务层** - **轻量化推理引擎**：通过模型剪枝、量化（如INT8）或知识蒸馏降低部署成本。 - **多模态交互接口**：提供统一的API网关，支持文本到图像生成、视频语义检索等跨模态任务。 --- #### 二、关键技术组件 1. **硬件加速** - 使用GPU集群（如NVIDIA A100）或TPU Pods进行并行计算，结合NVLink优化通信带宽。 2. **异构计算框架** - **计算图优化**：利用ONNX Runtime或TensorRT加速模型推理。 - **跨模态对齐工具**：如FAISS库实现大规模向量相似性检索。 3. **资源管理与调度** - 基于Kubernetes的容器化部署，结合Slurm或Ray实现动态资源分配。 --- #### 三、部署实践与挑战 1. **云原生部署** - 通过AWS SageMaker、Google Vertex AI等平台实现弹性扩缩容，按需分配GPU资源。 2. **边缘计算优化** - 模型轻量化后部署至边缘设备（如手机、IoT设备），使用TensorFlow Lite或Core ML框架。 3. **安全与隐私** - 联邦学习（Federated Learning）保护数据隐私，结合同态加密（HE）实现安全推理。 --- #### 四、典型应用场景 1. **医疗诊断**：结合医学影像与文本报告生成诊断建议[^1]。 2. **智能客服**：同时理解用户的语音、文本和图像输入。 3. **工业质检**：通过视觉+传感器数据实现缺陷检测[^2]。 --- 相关问题
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值