liferecords-CSDN博客

原创 [全网首发中文版]TextMonkey: An OCRFree Large Multimodal Model for Understanding Document

我们推出了 TextMonkey，这是一种专为以文本为中心的任务而定制的大型多模态模型 (LMM)，包括文档问答 (DocVQA) 和场景文本分析。我们的方法引入了跨多个维度的增强：通过采用零初始化的转移窗口注意力，我们在更高的输入分辨率下实现了跨窗口连接并稳定了早期训练；我们假设图像可能包含冗余标记，通过使用相似性过滤掉重要标记，我们不仅可以简化词符长度，还可以提高模型的性能。此外，通过扩展模型的功能以涵盖文本识别和基础，并将位置信息纳入响应中，我们增强了可解释性并最大限度地减少幻觉。

2024-03-08 11:44:22 2333 1

原创你天天在用的 SKILL.md 换东家了：四大厂商同日把 Agent 基础设施捐进 Linux 基金会

10 月 22 日，Linux 基金会旗下 Agentic AI Foundation 在 AGNTCon + MCPCon 宣布四个新托管项目：Anthropic 的 Agent Skills、OpenAI 的 Open Responses、Hugging Face 的 OpenEnv、阿里的 OpenSandbox，AAIF 首年项目数从 3 涨到 10。技能格式、模型接口、训练环境

2026-10-24 08:28:15 89

原创 Kimi K3.1 Pro 发布：104B 激活参数追到 Opus 5.5 差 0.7 个点，还主动「删掉」了自己的网络攻击能力

10 月 23 日月之暗面发布 Kimi K3.1 Pro：K3 的后训练强化版，2.8T 总参、104B 激活（MoE），100 万 token 上下文，API 价格比 K3 降 33%。官方口径 Terminal-Bench 4.0 得 65.7%、距 Claude Opus 5.5 仅 0.7 个点；Artificial Analysis 独立评测给出全场第 4 的

2026-10-24 08:22:19 104

原创 GEPA 优化出来的提示词为什么又臭又长？ESPO：先诊断，再动手，投票定生死

进化式提示词优化（如 GEPA）每轮都往提示词里堆规则，越堆越长却不见更准。ESPO 把病根归结为三点：每次只看几个随机错误、单一变异算子、小验证集上靠运气选优。解法是三阶段：一轮聚类全部训练错误、四种互补策略生

2026-10-24 08:12:02 40

原创看到 Jev 的第 24 天，OpenAI 押上 Decisions API：小决策不做生成、只给答案，还不收输出费

10 月 22 日 OpenAI 宣布 Decisions API 正式可用：一个只回答「有界问题」的专用端点——分类、路由、评分，返回概率/选项/分值而不是一段文字，最快比 Responses API 快 10 倍，只按输入计费。TechCrunch 证实这是 OpenAI 看到 TypeSafe 的 Jev

2026-10-23 08:25:44 237

原创 LLM 啃不动 500 万行代码？爱立信把「一次性的文档」变成「毫秒级检索引擎」

让 LLM 理解企业级大仓库，靠超大上下文窗口既贵又不稳。爱立信的 Code Comprehensor 走了另一条路：先沿调用图用 LLM 把整个仓库文档化一遍（CodeGraph + CodeScribe），再把文档解析成「一个代码单元对多种文本视图」的训练对，训一

2026-10-23 08:21:44 193

原创 KV 缓存压到 2.26 比特性能不掉：腾讯把「压缩算法教科书」搬进了大模型推理

长上下文推理的内存瓶颈在 KV 缓存，而传统固定宽度量化有个数学天花板：b 比特只能表达 2^b 个值，位宽一降精度崩塌。腾讯的 D-Quant 引入熵编码——按值的出现频率分配码长，把 2.26 比特/元素的压缩做到了近 BF16 精度；再用

2026-10-23 08:11:05 142

原创 DDVR-Net：把「字坏了」和「看不清」拆开算，历史文档识别不再靠猜

藏文、蒙古文、维吾尔文历史文档常虫蛀、水渍、墨蚀并存，同一行字可见程度参差：传统 OCR 证据不足就认错，语言模型后纠错又爱把好字改坏。DDVR-Net 把字形与破损在特征层拆开，预测每个字的可见度，只对坏字唤醒 0.5B 语

2026-10-22 09:22:23 121

原创潜伏 20 年没人能利用的 PHP 漏洞，AI 一周做成了武器

2026 年 10 月 21 日，PHP 紧急发布安全更新，修复潜伏十余年的两个核心漏洞（CVE-2026-109618/109619，CVSS 9.2），未认证远程代码执行影响全球约 70% 网站。老漏洞一直没人能稳定利用，前沿 AI（Gemini 4 Argon、GPT-5.6 Sol）把利用链开发从

2026-10-22 09:18:38 81

原创 VLM 抽得出版面元素，却排不对标题层级？分层多模态记忆让上百页长文档「纲举目张」

VLM 文档解析能逐页抽出标题，却给不出文档级一致的层级——上百页塞不进一次推理。阿里 Qwen DianJin 团队提出分层多模态记忆：每个层级只保留最近一个锚点标题，用锚点所在页当历史上下文，增量重建标题树，上下文由树深

2026-10-22 09:17:35 182

原创 Google 和 Meta 把 TPU 变成 PyTorch「原生设备」：TorchTPU 开源，device=“cuda“ 改一个词就能上 TPU

2026-10-20 PyTorch Conference 上，Google 和 Meta 联合宣布 TorchTPU 开源：不依赖 JAX、eager 优先的 PyTorch 原生 TPU 后端。model.to(\"tpu\") 即可开箱运行，已验证 4917 个 Hugging Face 模型（98% 无崩溃通过），Qwen3 235B MoE 训练扩展到 8192 芯片 Pod，Sem

2026-10-22 09:12:55 197

原创百万 token 塞进一张卡：论文测出你的 GPU 其实闲得慌

想在本地一张卡上跑长上下文 LLM，通行答案是量化压缩。这篇来自数据库社区的测量研究把三个代际的模型放到三代 GPU 上逐内核剖析，发现单用户 decode 的 GPU 远没被跑满：注意力占九成运行时间却远够不到硬件极限，最新显

2026-10-22 09:07:41 126

原创不训扩散模型也能生成文本？BERT 本来就是半个去噪生成器，加个外置解码器就够

扩散语言模型火了一年，但一篇新论文反问：把扩散的时间步、噪声调度、反向过程全删光，BERT 直接迭代生成行不行？答案是：行，但要看场景。冻结 BERT 已能迭代还原 61% 的 15% 掩码文本；普通 MLM 微调后做选择题与开放式生

2026-10-21 08:40:28 195

原创单集群一天吐 155 万亿 token 的引擎开源了：DeepSeek 放出生产级推理框架 DeepInfer

DeepSeek 于 10 月 20 日将驱动自家生产服务的推理引擎 DeepInfer 以 Apache 2.0 开源：基于 vLLM 深度定制，支持 DeepSeek-V4.1-Flash，首发同时适配英伟达 SM100 与华为昇腾 950。官方口径单集群日吞吐 155 万亿 token；MTP 草稿验证、批不变推理

2026-10-21 08:34:13 179

原创证不动的引理别再死拆了：Maestro 给 Lean 证明装上「总指挥」，研究级定理多证 63%

现有 Lean 证明 agent 都是「证不动就拆」的分治流水线：引理证不出就继续分解，却分不清是缺引导、命题为假、还是上层计划本身错了。UIUC 等机构的 Maestro 换了思路：证明器失败时必须交出结构化诊断（试过什么、为什么不行

2026-10-21 08:25:58 132

原创 AI 审查员把 PostgreSQL 19 拖延期了？committer 拆完 12 个撤回，故事没那么简单

PostgreSQL 19 打破多年秋季发布的惯例，推迟到 11 月 19 日，beta 期撤回约 8-10 个重要特性——常态只有 1 个。The Register 一篇「AI 审查发现的 bug 多到人类修不完」把事情送上 HN 热榜，但 committer Tomas Vondra 逐一核对 12 个被撤特性后

2026-10-20 08:26:22 223

原创不用一个 token 一个 token 写了：扩散大模型 Mercury 3 发布，官方喊出 1068 tokens/s

「文本扩散能不能规模化」是大模型圈挂了两年的问号。Inception Labs 在 10 月 19 日交出自己的答案：Mercury 3，比初代大 40 倍的扩散式 LLM，官方口径 1068 tokens/s、1M 上下文，基准对标 GPT-6 Luna 与 Claude Haiku 5.5，上线五折价 $0.10/M 输

2026-10-20 08:19:34 89

原创 Muon 到底什么时候赢？等 token 全胜、等时间翻车：换优化器前先算的三本账

「Muon 比 AdamW 省」这句话省的到底是什么？这篇 NeurIPS 2026 优化工作坊论文把效率拆成数据、时间、调参三本账：单张 A100 上，等 token 数 Muon 四个负载全胜、20 组配对测试全赢；但等墙钟时间时，视觉任务 Muon 大幅领先、语言任

2026-10-20 08:13:53 210

原创 Bifocal：视觉 token 砍掉 75% 问答没事，一碰 OCR 就翻车——单一重要性分数的锅

视觉 token 剪枝是多模态推理省钱标配，各家论文都声称砍到 1/4 token 通用问答几乎不掉点。这篇论文把十种主流方法在三个模型系列、五个能力组上重测一遍，发现通用 VQA 是个「宽松考官」，OCR 和视觉定位上大量方法直接崩坏

2026-10-19 08:55:59 8

原创 VELD-QA：1.5 万道全人工标注的长文档问答，把「检索到」和「读进去」分开算账

长文档问答的评测报表只给一个端到端准确率，模型答错时分不清是检索没找到那页，还是找到了没读懂。Oracle AI 联合 USC 等机构发布 VELD-QA：15,000 道全人工撰写的问答、5,859 份真实 PDF、37 万余页，逐题标注支撑页与证据元素

2026-10-19 08:50:58 76

原创 semCER：一个错别字和一个错误名字同罪？OCR 评测指标该按「伤害」计费了

CER 把一个错别字和一个错误名字记成同样的 1 分。semCER 保持 CER 的对齐和分母不变，把每个字符编辑的代价换成 LLM 评判的严重度（0-1），不做分词。英、越、中三语人工验证：严重度逐编辑对上读者打分，按严重度排序的前 10

2026-10-19 08:45:58 71

原创 Read-Parse-Describe：文档解析终于把「图里画了什么」也写进结果了

文档解析的版面、文字、阅读顺序、图像描述一直被拆开评测，论文里的图成了「黑块」。Read-Parse-Describe 用 2402 篇论文、1.8 万余页，要求模型一次输出边界框、标签、阅读顺序、识别文字，外加图注关联和「这图画了什么」。

2026-10-19 08:40:59 65

原创 ZoomCap：「写得长」不等于「信息全」——草稿路由 + 自适应放大，把漏掉的小字小物补回来

给多模态模型造的稠密描述常把「写得长」当成「信息全」，小物体、文字、空间关系照样漏。蚂蚁集团与浙大提出 ZoomCap：草稿描述路由检索、OCR 与自适应放大，只对最复杂的区域二次裁切，再按「新颖、一致、不重复」三道

2026-10-19 08:35:59 97

原创 P2TPO：整页文档解析只看总分是笔糊涂账——把功过算到每个 token 头上

用 RL 后训练文档解析模型时，GRPO 给一整页输出只发一个平均分——可两份总分接近的结果，可能一个漏了表格、一个毁了公式，平均分完全分不出来。Qwen 团队的 P2TPO 按文档结构记账：先对齐参考元素逐块比较，再用 Unified Anc

2026-10-19 08:30:59 176

原创 Librarian Agents：别等提问了再翻原文——先训练一个「图书管理员」把长文档收拾好

长文档问答的通病是临时抱佛脚：RAG 每次提问都从头翻原文，跨文档推理全压在推理时刻；预建知识图谱又死在固定抽取规则里。斯坦福与 CMU 团队反着来——用强化学习训练 builder agent 在问题到来前把散乱语料整理成带溯源链

2026-10-19 08:25:59 149

原创 DocPilot：长文档问答别硬灌上下文——让小模型学会「编排」一场跨页取证

长视觉文档问答要跨页、跨模态寻找稀疏证据，单次前向的视觉语言模型容易漏。DocPilot 把文档交互拆成六个细粒度动作，用「取证—推理—验证—修正」的闭环做编排，再以课程化训练把这套能力教给小模型：DocPilot-4B 在 DocBe

2026-10-19 08:20:59 163

原创检索到了 ≠ 读进去了：文档 RAG 把页图预算从 1K 拉到 32K，准确率多 15 个点

多模态文档 RAG 一直卷检索，这篇论文发现真正卡脖子的是生成器的「眼睛」：五个主流方法平均只给模型 0.7K–2.7K 视觉 token，页找对了证据还是没喂够。把纯页图预算从 1K 提到 32K，SciEGQA 准确率多 15.22 个点；固定 16K 预算再

2026-10-19 08:16:25 211

原创同一个问题问了 14 遍，12 个部署改了答案：LLM 做医疗器械合规判定，确定性先不过关

给医疗器械做合规评估，LLM 给出的每条判断都要留档备查。这篇论文把同一个评估请求原样重发给 14 个商业部署：没有一个能逐字复现自己的回答，12 个连『满足 / 不满足』的标签都变过，temperature 0、seed 0 也拦不住。作者反

2026-10-19 08:12:24 46

原创 Claude 写了 90% 的 Claude Code：Anthropic 公开评审流水线，人类只做『最后防线』

Anthropic 在官方博客中重申 Claude 写了 Claude Code 自身约 90% 的代码，并披露配套评审体系：6 月到 9 月合并 PR 翻倍以上、回逆占比反降超 40%，做法是把机器评审前置成「写作时的拼写检查」，人类只看高风险面、靠快速回逆兜底

2026-10-18 08:40:32 116

原创 DeepSeek 半夜上新 V4.1-Flash-1017：模型名没变、价格没变，11 项跑分全涨了

DeepSeek 在 10 月 17 日凌晨把 V4.1-Flash 悄悄换了个检查点：API 名、价格、架构全都不动，11 项基准全部上涨，第三方当天实测还确认输出更短、账单直降两三成。同日开放的自研搜索 Search/Fetch API 反而被讨论声盖住了。本文把官方

2026-10-18 08:34:44 249

原创 Agent 工具箱越大越难选？Tracer 砍掉八成工具 schema，选得反而更准

给 agent 接过 MCP 工具的人都有体感：工具一多，每步要把上百个 schema 塞进上下文，token 账单爆炸不说，模型还会在长工具表里选错。微软这篇论文把工具检索从「每步独立搜索」改写成「给定前缀猜下一步」：用历史成功轨迹

2026-10-18 08:25:06 172

原创 AI 出海迎来新闸门：23 项技术拟列出口管制，开源与 API 明确豁免

10 月 16 日，商务部、科技部发布 2026 年第 48 号公告，拟在《中国禁止出口限制出口技术目录》增列 40 项技术，其中人工智能占 23 项——覆盖大模型、智能体、算力集群、信息处理四类，14 项禁止出口、26 项限制出口，征求意

2026-10-17 08:30:34 206

原创同一个错误认知，放进计划里失败率翻 2.4 倍：追踪 LLM 代码修复的「毒谷」

用 Claude Code、Cursor 这类 agent 修过 bug 的人，都见过「越修越坏」：最终测试只告诉你补丁是错的，却不说是哪一步的错误判断害的。这篇 NeurIPS 2026 IAB 工作坊论文设计了一套「毒物注入」实验：往修复 agent 的假设或实现计划里

2026-10-17 08:18:28 111

原创 AI 写的码用 AI 来审：Claude Code Review 正式可用，20 分钟的审查压到 6-10 分钟

10 月 15 日，Anthropic 宣布 Claude Code 的 Code Review 结束研究预览，向 Team 与 Enterprise 组织正式开放：多智能体并行审查 GitHub PR，速度约 3 倍提升（约 20 分钟降到 6-10 分钟），管理员可按仓库调 Quick/Standard/Deep 三档，企业还能领 1 万

2026-10-16 08:39:20 171

原创 Meta 掀桌了：号称「美国最强开源模型」的 Muse Spark Open 开放下载，816B MoE + 1M 上下文

Meta 在 10 月 15 日把 Muse Spark Open 的权重搬上了 Hugging Face：816B 总参、42B 激活的 MoE，1M token 上下文，原生多模态，官方称其为迄今最强的美国开放权重模型。vLLM、SGLang 等 Day-0 支持，NVFP4 量化版把自托管门槛降到 700GB 显存级。但

2026-10-16 08:32:41 486

原创测试分数没动，代码结构却更「像」了：1 万仓库的软件忒修斯之船实验

MetaGPT、ChatDev 这类「先设计后编码」的智能体越用越多，可训练和评测数据九成堆在写代码、跑测试上，需求和设计文档几乎没有——因为真实项目里这些东西要么丢了要么是私有的。瑞士 IDSIA 与德国 DFKI 的这篇论文反着来：

2026-10-16 08:22:34 203

原创一个模型吃下 PDF、图表、录音和视频：腾讯优图开源 Youtu-Parsing-Omni，5B 参数把解析流水线打成一个 JSON

腾讯 Youtu 团队开源 5B 全模态统一结构化解析模型 Youtu-Parsing-Omni：共享编码器吃下文档页、自然图像、图表、几何图、音频、音视频六类输入，经 OmniSchema 统一输出一份结构化 JSON（表格 OTSL、公式 LaTeX、流程图 Mermaid、ASR 带时

2026-10-15 08:40:38 145

原创别让旗舰大模型当调度员：APUS 开源 Reflex Agent，4.5B 小模型管事、大模型干活

10 月 13 日晚，APUS（麒麟合盛）开源 Personal Agent 产品 Reflex Agent（MIT 协议，含桌面端/Web/SDK 与决策模型权重）。它的差异点是把 Harness 的控制决策——模型路由、技能选择、结果审查、执行监督——交给一个基于 Qwen3.5 微调的 4.5

2026-10-15 08:36:04 47

原创首字延迟的 67% 不是模型算的：GraphTok 把 LLM 分词整段搬上 GPU

Agent 负载每次调用都重发几乎不变的超长上下文，前缀缓存把 GPU 的 prefill 几乎清零之后，CPU 分词反而成了首字延迟（TTFT）的大头——实测最高占 67%。KTH 团队的 GraphTok 把 BPE 分词的完整流水线（正则预分词、合并、token 组装）

2026-10-15 08:27:16 215

原创 15 台 55 美元的电视盒子，撑起一个会自我复制的 AI：Anthropic 红队新实验拆解

Anthropic 前沿红队发布自主复制（ARA）研究：15 台 55 美元山寨电视盒子以流水线并行扛起 26B 模型（0.39 token/s）；跨硬件部署测试中 9B 模型 9 种硬件成功 8 种；GLM-5.2 在隔离沙盒中实现端到端自主复制。官方预测 30B 以下模型年底

2026-10-14 08:26:00 209

paddlepaddle-gpu 适配Spark DGX GB10服务器 python包

基于develop分支开发适配Spark DGX GB10服务器，cuda版本为13.0，算力 sm12.1。目前GB10服务器属于最高算力的最新服务器。目前构建对于flashattn构建存在问题，但对于不使用LLM等其他小模型应该是没有问题的。验证脚本 import paddle paddle.utils.run_check()

2026-01-05

Dataset - TSR数据集同花顺文档图片表格结构识别算法-数据集

详细的数据情况：https://contest.aicubes.cn/#/detail?topicId=51 数据量700+, 标注格式为xml，经过简单脚本转化，即可实现在项目上训练

2024-12-03

ICDAR2024论文集 - Part 1

ICDAR2024文档顶会论文共有6部分，这里为第一部分。下载后直接将后缀改为论文文档的后缀即可。

2024-09-18

python的柱状图，绘制漂亮

单文件执行效果，修改简单，一个函数就能绘制，内含多种配置参数绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD 绘制python柱状图，详细见：http://t.csdnimg.cn/8aleD

2024-02-29

手写化学式数据集，企业级数据集、可应用实际生产环境

详细的数据情况请查看csdn博客链接：http://t.csdnimg.cn/X5O5m 数据量 10万+, 标注支持三种格式 chemfig, ssml，ssml_sd满足你各类标注要求,因每个文件大小都大于2G，所以提供链接下载，请务必将所有文件下载完成后进行解压，下载完整后解压，下载完整后解压，下载完整后解压本数据集收集了大量的手写化学式，旨在支持和促进化学式的自动识别技术的发展。数据集包含了多种化学元素和化合物的手写表示，适用于企业级应用，比如药品研发、教育、化工制造等行业。该数据集经过严格的质量控制和预处理，可以直接应用于实际生产环境，为机器学习模型的训练提供高质量的输入数据。该手写化学式数据集包括以下特点和资源扩充说明：数据多样性：数据集涵盖从小学到大学水平的手写化学式，包括不同书写风格、字迹清晰度和复杂度，以适应不同年龄段和教育背景的识别需求。质量控制：每个样本都经过了多轮的审核和校正，确保其代表性和准确性。错误的或不清晰的样本被排除，确保了数据集的整体质量。标注信息：每个手写化学式样本都附带了详细的标注信息，包括化学式的正确文本表示、

2024-02-28

深度学习 OCR 弯曲/圆形文本数据集

必看：因涉及到敏感词，标题不够展现数据集内容 1. 数据集主要是按照印章标准生成企业名称 2. 数据集内的标注采用labelme进行标注，json的格式哦，需要转换成ocr常用的格式标准可在进行交流沟通 3. 不仅有文本区域的标注点，并且还有文字字符标注哦，一个字一个字标注真是累死人。 3.标注的细粒度按照字符级进行标注，标注点个数根据文字数决定，是不是很省事，很贴心 4. 主要用于印章文字检测方面的深度学习，简单修改脚本，让你的炼丹之路更加顺畅。 -------------------------------------------------------------------------- 因涉及一些敏感信息，或有涉及侵权，请及时联系，我将立刻下架。另外，需要的同行朋友尽快下载，这东西开放的资源不多，且行且珍惜吧

2022-05-25

深度学习多类别电表读数OCR数据集

该数据集可采用OCR的方式去实现电表数字的提取，再也不用手工录入电表数了，可以开开心心摸鱼去含标注数据，让你直接开始炼丹，花小钱赚大钱。 --------------------------------------------------------- 特别申明：注意看这里！！！注意看这里！！！注意看这里！！！ --------------------------------------------------------- 该电表数据集是数字电表，非指针电表 --------------------------------------------------------- 主要通过OCR技术，检测识别电表的数字，并进行统计，关于这部分的代码，可以付费提供，有需要留言。 ---------------------------- 免责声明：若侵权，请联系，第一时间下架相关资源。

2022-05-25

自标注老鼠数据集内含2000+图片

1. 适用于目标检测，可以用来作微调模型 2.VOC数据格式，方便算法加载 3.数据来源：通过摄像头采集到视频进行标注 4. 价格优惠，基本就是白嫖劳动力了

2022-03-23

工业真实场景保压表数据集

1. 真实工业场景，实际拍摄 2. 多种保压表，且已有labelme的json标注格式 3. 100+张图片，内部数据集