- 博客(257)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 DFlash2 深度解读：让 Speculative Decoding 继续并行下去
DFlash2 最值得学习的地方，不是它堆了复杂模块，而是它非常克制。DFlash 已经把 draft 阶段变成并行 block prediction。候选里有正确 token，但 top-1 路径不连贯：用 Path Selector 从 top-k 中选更合理的路径。block 后缀位置质量下降：用 two-tap local convolution 补短程局部依赖。
2026-08-24 00:15:04
149
原创 NaviDC-OCR 深度解读：把文档解析从“矩形框 + OCR”推进到“形变感知 + 结构解耦”的统一系统
用 MCV 和合成数据把训练标签做稳；用几何感知和 CGDP 让模型读得懂相机拍摄文档；用内容-结构解耦让表格和公式不再只是字符序列；用MagicModel和 Markdown 重建把模型输出变成工程可用结果。所以它的本质更接近一句话：不是把整页图像“识字”，而是把整页文档“恢复成结构”。
2026-08-23 16:02:14
99
原创 DSpark 深度解读：半自回归 + 置信度调度，DeepSeek 如何把推测解码推向生产极限
Eagle3: 自回归草稿 → 快速但浅，受限于串行瓶颈DFlash: 并行草稿 → 突破速度上限，但尾部衰减严重DSpark: 半自回归草稿 + 智能验证 → 兼顾速度、质量和系统效率DSpark 带来的启示不仅是技术层面的。在实际系统中，"最优"不是单一维度的，而是速度、质量、系统效率三者的联合最优。DFlash 在速度和质量上取得了突破，但在系统效率上留下了空白——DSpark 正是填补这个空白的系统性方案。更重要的是，DSpark 的开源策略值得关注。
2026-07-05 20:22:39
121
原创 DFlash：用扩散模型做推测解码，如何让 LLM 推理加速 6 倍？
DFlash 之所以令人兴奋，不在于它发明了什么全新技术，而在于它找到了一个被忽视的甜点——扩散模型不需要自己"写文章"，只需要当好一个"猜字实习生"，而目标模型的隐藏特征让这个实习生变得异常准确。有时候，一个模型最大的价值不在于独立完成任务，而在于找到与其他模型协同的最佳方式。DFlash 的开源也非常彻底：MIT 许可证、4 个核心文件、支持 4 种推理后端、覆盖 20+ 主流模型。如果你在部署 LLM 服务，这可能是目前最值得尝试的加速方案之一。
2026-07-04 17:47:06
136
原创 MinerU-Popo：面向 RAG 的文档级 OCR 后处理框架
MinerU-Popo 是一个轻量级 OCR 后处理框架，通过四个聚焦子任务（文本/表格截断恢复、标题层次重建、图像-文本关联）将页面级 OCR 输出转换为连贯的文档级结构，在保持轻量部署的同时显著提升 RAG 系统的准确率和响应速度。
2026-05-31 23:20:21
421
原创 多词元预测（MTP）技术详解：原理、推理加速
通俗解释：Token 是文本的最小处理单位。计算机无法直接理解人类语言，需要先将文本切分成一个个小块（token），再将这些小块映射为数字 ID，才能进行处理。举例说明：以中文句子"我爱北京天安门"为例：不同的分词策略会产生不同的 token 序列。现代大语言模型通常使用 BPE（Byte-Pair Encoding）或 SentencePiece 等子词分词算法，在词表大小和序列长度之间取得平衡。为什么需要 Tokenization？计算机只能处理数字，因此需要将文本映射为数字 ID。Tokenizer
2026-05-19 22:02:27
265
原创 GRPO 强化学习技术详解：从原理到实践
想象你在训练一只小狗学会"坐下"：你发出指令（状态），小狗尝试各种动作（坐下、转圈、跑开），如果小狗坐下了，你就给它一块零食（正奖励）；如果它跑开了，你就不给零食（零或负奖励）。经过反复试错，小狗逐渐学会了"在听到’坐下’指令时，做出坐下的动作能获得零食"。强化学习（Reinforcement Learning, RL）正是这样一种学习范式——智能体（Agent）通过与环境（Environment）的不断交互，在试错中学习如何做出最优决策。强化学习的核心是一个闭环的交互过程：Agent 观察环境的状态，采取
2026-05-16 20:06:07
157
原创 模型不变，数据为王：MinerU2.5-Pro 如何用纯数据工程打败 200 倍参数量的模型
如何可靠地评估一个样本的难度？传统方法通常使用单模型多次推理的输出一致性作为难度代理。但这种方法只能捕获单一模型的"认识论不确定性"——模型不确定的不一定是真正的难题，可能只是模型自身的盲点。CMCV 将难度评估从单模型内省扩展到多模型交叉验证。模型参数量类型MinerU2.51.2B目标模型（专用 VLM）0.9B外部模型（专用 VLM）30B外部模型（通用 VLM）难度等级定义标注策略EasyMinerU2.5 与至少一个外部模型高度一致任何模型的输出可直接作为标注。
2026-04-18 17:38:07
117
原创 多模态文档解析模型进展：腾讯优图 Youtu-Parsing
总的来说，这项工作从推理速度与推理效果相比于以往的工作也是比较有特色的。例如：增加了页面的元素之间的拓扑结构上的预测、印章内容的预测以及这种编解码方式都比较不错。
2026-02-01 13:45:02
304
原创 多模态文档解析模型进展：UNIREC-0.1B
总得来说，在指标上效果还是比较明显的，也有较多值得借鉴的内容。但在实际的业务场景中可能会更复杂，现有的模型只是在比较稠密的文本和公式做了提升，困扰业界的问题还比较多，如表格的识别等。
2026-01-05 22:57:29
193
原创 NaViT：适用于任意分辨率的视觉Transformer
本文介绍了NaViT（Native Resolution Vision Transformer），这是一种改进ViT模型的方法，旨在处理任意尺寸图像而无需调整原始比例。传统ViT需要固定输入尺寸，导致图像特征失真，影响OCR等任务效果。NaViT通过"Patch n’Pack"技术，将不同分辨率图像分割成patch序列并打包处理，同时使用分解位置嵌入和注意力掩码确保图像间独立性。该方法还引入连续token丢弃和分辨率采样策略优化训练效率。实验表明NaViT在保持原始宽高比的同时提升了模型
2025-12-14 08:50:45
226
原创 不断深挖文档智能的MonkeyOCR——V1.5
前段时间文档智能有几个不错的工作:MinerU2.5,PaddleOCR-VL,DeepSeek-OCR。。。
2025-11-23 17:31:34
312
原创 【开源实践】基于VLLM的Qwen3-Embedding实践
模型部署与调用比较简单，主要是工程上的内容。对于具体的任务，还可以考虑在Reranker模型基础上进行再一次微调以提高在具体任务的效果。
2025-08-04 07:45:02
2838
原创 Qwen3 Embedding:新一代文本表征与排序模型
Qwen3 Embedding 系列模型分别有 0.6b, 4b, 8b 的 Embedding 和 Reranker 模型。该系列模型专为文本表征、检索与排序任务设计，基于 Qwen3 基础模型进行训练，充分继承了 Qwen3 在多语言文本理解能力方面的优势。在多项基准测试中，Qwen3 Embedding 系列在文本表征和排序任务中展现了卓越的性能。主要特点如下：卓越的多功能性：该嵌入模型在广泛的下游应用评估中达到了最先进的性能。
2025-08-02 23:53:04
1234
1
原创 【源码初探】文档智能 Expert VLMS 型新 SOTA：dots.ocr
dots.ocr 是一个单一的视觉-语言模型，统一了布局检测和内容识别，同时保持良好的阅读顺序。模型参数量 1.7B 参数 LLM，但它的效果达到了 SOTA。特性：性能： dots.ocr 在 OmniDocBench 上实现了文本、表格和阅读顺序的 SOTA 性能，同时在公式识别方面达到了与 Doubao-1.5 和 gemini2.5-pro 等更大模型相当的结果。
2025-08-02 14:19:47
1467
原创 【开源初探】基于Qwen2.5VL的OCRFlux
现有的方法在处理具有复杂布局和复杂表格的页面时存在困难。特别是对于那些具有像跨行或跨列单元格等复杂结构的表格，解析出的输出通常不完整且错位。PDF文档通常以分页格式呈现，这常常导致表格或段落跨两页断开。然而，目前没有任何工具能够处理跨文档页面的段落和表格合并。它们都是逐页处理，在拼接各页结果时不考虑逻辑连贯性，从而导致表格和段落出现错误或碎片化。许多最先进的工具依赖于参数超过7B的模型。模型参数过多限制了它们的高效推理和简化部署。
2025-06-28 11:02:45
1724
原创 【源码拾贝】docext的使用
这部分的信息提取主要使用的是开源的大模型，主要是 qwen2.5vl 系列模型，模型参数量源码推荐从 7B 开始，例如：Qwen/Qwen2.5-VL-7B-Instruct-AWQ（默认）。自定义信息提取模块，个人感觉信息提取模块工程代码较多，效果好坏主要靠多模态大模型的能力。
2025-06-22 23:44:36
1485
原创 【开源初探】基于 Qwen2.5VL的文档解析工具：docext
docext 是一个由视觉语言模型（vlm）提供支持的全面的本地文档智能工具包。vlm 使用的是基于 Qwen2.5VL-3B 的模型，应该是在此模型基础上进行的微调。它提供了三个核心功能：1.pdf/image 转 markdown：将文档转换为具有智能内容识别的结构化标记，包括 LaTeX 方程、签名、水印、表和语义标记。2.文档信息提取：从发票、护照和其他文档类型等文档中无 ocr 地提取结构化信息（字段、表等），并进行置信度评分。
2025-06-21 14:08:39
932
原创 【论文阅读】Qwen2.5-VL Technical Report
本文提出了一种名为Qwen2.5-VL的视觉语言模型系列，该模型在多模态理解和交互方面取得了显著进展。其增强的视觉识别能力、对象定位能力、文档解析能力和长视频理解能力使其在静态和动态任务中表现出色。此外，它具有原生的动态分辨率处理和绝对时间编码功能，可以高效地处理各种输入，并通过减少计算开销而不牺牲分辨率精度来降低计算负担。Qwen2.5-VL适用于从边缘AI到高性能计算的各种应用。
2025-06-14 10:33:25
1640
1
原创 【论文阅读】MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm
（回顾ing）。文档解析是一种基础技术，它将各种文档格式中的非结构化、多模态内容（包括文本、表格、图像、公式等）转换为结构化、机器可读的信息。这种能力支持广泛的现实应用，如自动化业务工作流、数字归档、智能教育和医疗记录管理，加速了以信息为中心的行业的数字化和自动化。现有的主要处理范式是pipeline-based和end-to-end，两者都有各自的优缺点，一些研究人员则是根据两者的优缺点进行联合处理。简要回顾一下两种处理范式的优缺点。
2025-06-08 19:27:44
1724
1
原创 【论文阅读】Dolphin: Document Image Parsing via Heterogeneous Anchor Prompting
从文中可以看出，尽管Dolphin表现出了出色的性能，但仍有一些限制需要进一步改进。首先，Dolphin主要支持标准水平文本布局，对于垂直文本如古代手稿等的支持有限。其次，虽然Dolphin能够有效地处理中英双语文档，但其多语言能力仍需扩展。此外，虽然Dolphin通过并行元素解析实现了效率提升，但在文本行和表格单元格的并行处理方面仍有优化空间。最后，Dolphin的手写识别能力还需要进一步增强。此外，由于文档的多样性和复杂性，还需要在工业界进行考验。。GOT等专门处理文档的多模态(大)语言模型。
2025-06-03 18:50:54
1823
1
原创 【文档理解】TextMonkey：一种OCR-Free的用于文档理解的多模态大模型
TextMonkey在多个方面进行改进：通过采用零初始化的Shifted Window Attention，TextMonkey实现了更高输入分辨率下的窗口间信息交互；通过使用相似性来过滤出重要的图像特征，TextMonkey不仅能够简化输入，还可以提高模型的性能。此外，通过扩展多个文本相关任务并将位置信息纳入回答，TextMonkey增强了可解释性并减少了幻觉。与此同时，TextMonkey在微调之后还可以具备APP Agent中理解用户指令并点击相应位置的能力，展现了其下游应用的巨大潜力。
2024-05-16 08:15:00
2100
原创 《Large Language Models for Generative Information Extraction: A Survey》阅读笔录
映像中，比较早地使用“大模型“”进行信息抽取的一篇论文是2022年发表的，也是我们常说的UIE模型，其主要在T5-v1.1模型的基础上训练一个Text to structure 的UIE基座模型，然后在具体的业务上再进行Fine-tuning。T5也算是比较早期的的大语言模型了。时至今日，chatgpt问世后，各种大模型也不断涌现。大模型在理解能力和生成能力上表现出了非凡的能力。
2024-02-27 22:57:45
2830
1
原创 【NLP】《Unified Named Entity Recognition as Word-Word Relation Classification》论文阅读
该模型核心就是创造性地提出将实体抽取转换成word（中文就是字与字之间的关系）之间的关系抽取类别抽取。通过构建word与word之间关系的抽取可以解决flat、nested、discontinuous 这三种类型的NER识别任务，也就是标题所受的统一的实体抽取模型了。对于一个语句XXX，其由NNN个token（中文可以看成字，英文可以看成单词）组成，那么一个语句就是Xx1x2⋯xNXx1x2⋯xN，一个token pair就是xixj。
2023-04-01 23:44:26
751
1
原创 【NLP】一种联合关系抽取模型——TPLinker
总体来说，这个模型又是一个巧妙的结构设计。整体来说，对于overlap的实体也可以识别出来，对于SEO,EPO问题也可以解决，并且没有暴露偏差，预测效率在同级别模型中也算可以，可以尝试在实际的工业领域中进行落地实验。
2023-02-20 10:53:14
2649
原创 【NLP】一种基于联合方式的三元组抽取模型——CasRel
关系抽取是自然语言处理中一个比较基础的任务，除了关系抽取之外还有类似的任务如：属性抽取等。这些任务也都可看成三元组抽取，即（subject，predicate，object）。基于pipeline的分布抽取方式，在已知两个实体subject和object，去预测predicate。联合抽取方式，一个模型同时将subject，predicate和object抽取出来。现实的场景中还存在重叠关系情况，那么针对这种情况该如何解决呢？
2023-02-05 18:37:44
2155
1
原创 【知识图谱导论-浙大】第三、四章：知识图谱的抽取与构建
隐藏状态集合Q，对应所有可能的标签集合，大小为N；观测状态集合V，对应所有可能的词的集合，大小为M；对于一个长度为T的序列，I对应状态序列（即标签序列），O对应观测序列（即词组成的句子）；状态转移概率矩阵AaijN∗NAaijN∗N：转移概率是指某一个隐藏状态（如标签“B-Per”）转移到下一个隐藏状态（如标签“I-Per” ）的概率。例如，B-ORG标签的下一个标签大概率是I-ORG，但一定不可能是I-Per;发射概率矩阵BbjkN∗MBbj。
2023-01-09 10:58:12
1694
原创 【知识图谱导论-浙大】第二章：知识图谱的表示
简而言之，知识表示（Knowledge Representation， KR）就是用易于计算机处理的方式来描述人脑知识的方法。KR不是数据格式，不等同于数据结构，也不是编程语言，对于人工智能而言，数据与知识的区别在于KR支持推理。,对KR的作用是这样描述的。Role I，事务的名称Role II，事务有了名字之后，在此基础上进行一层层抽象，一群学生中，一些人是本科生，一些人是硕士生，一些人是博士生，他们哪些学校的学生，这种对事务的进行抽象，建立万事万物之间的联系，就是本体的构建（ontology）
2023-01-07 11:46:29
1580
原创 【知识图谱导论-浙大】第一章：知识图谱概论
话说回来，什么是知识呢（what is knowledge）?针对这个哲学问题，柏拉图说：Knowledge is justified true belief。其实仔细一想，人类的自然语言、创作的绘画与音乐、数学语言、物理模型、化学公式等都是人类知识的表示形式和传承方式。具有获取、表示和处理知识的能力是人类心智区别于其它物种心智的最本质特征，也是人脑智能的最本质特征。
2023-01-06 20:14:40
2112
原创 【Python】CSV,TSV语料读取的简单操作——内建包csv的使用
总的来说，使用csv内建包，无论数据写入还是数据读取都比较简洁方便，定制化也比较容易，可以根据自己实际的工程需要进行定制化开发。
2022-12-17 09:50:57
1909
原创 【深度学习】学习率预热和学习率衰减 (learning rate warmup & decay)
当然，这种使用warmup和decay的learning rate schedule大多是在bert这种预训练的大模型的微调应用中遇见的。如果是做自然语言处理相关任务的，transformers已经封装了好几个带有warmup 和 decay的lr schedule。如果不是做研究的话，这些已经封装的lr schedule直接拿来用即可。当然也可以使用pytorch中的相关模块自定义。
2022-12-10 09:54:02
7782
原创 【Pytorch】加载模型避坑坑load_state_dict中的strict使用与加载多GPU训练的模型
加载模型的小知识， 使用多GPU训练的模型并保存到ckpt中后，使用torch.load_state_dict加载模型的时候将会报错，但是如果将其中的参数设置为True的时候就可以加载，但是当使用加载后的模型去预测数据时，结果错的离谱。 相关内容可以看看这篇博文：关于Pytorch加载模型参数的避坑指南.那么对应的解决方案是，在使用多GPU训练保存模型的时候，保存的模型应该是model.module，并不是直接保存model。（假设使用的模型是model）
2022-12-04 21:49:52
2075
原创 【Python】标注库中os.path与pathlib中Path的比较
os.path主要是以方法的形式存在，而pathlib中的Path则是以对象形式的存在，如果对地址操作的比较多，需要相关的方法以及对应的属性时，使用Path来创建一个地址对应会更加方便。这里先占个坑，网上有多介绍这个两个包的内容，下载参考文献罗列下来：使用的时候再来直接查就完事了，有时间再将常用的方法汇总过来。
2022-12-03 23:19:25
855
原创 【Pytorch】模型的可复现性
在做研究的时候，通常我们希望同样的样本，同样的代码能够得到同样的实验效果，但由于代码中存在一些随机性，导致虽然是同样的样本和程序，但是得到的结果不一致。在pytorch的官方文档中为此提供了一些建议，原文档：REPRODUCIBILITY。下面我们来看看看具体的内容。pytorch在一些操作具有随机性，如：，我们可以使用设置随机数种子来使得所有的设备（CPU和GPU）的随机性一致（本质来说现有的随机函数都是伪随机，都是通过随机数种子确定）。如：python中的随机性当然有时候我们的程序中可能还会使用py
2022-12-03 22:55:51
2271
1
原创 【小想法】第1期：模型工程化，向量相似度，早停机制，BERT微调小trick
早停机制的背后原理就是监控模型训练过程中的一些参数，当符合要求后就停止训练，以减少模型训练时间等。深度学习模型工程化可以使用方式比较多，如使用Java的DJL库对模型进行封装构建java SDK，使用fastapi(python web框架，flask也是可以的)对模型保证，对外提供服务，或者书写成python SDK供他人使用，如果想保护模型服务源码，也可以进行使用pyinstaller打包，如果方便部署，也可以进一步使用docker构建镜像，除此之外还可以使用onnx进行工程化等。
2022-11-07 21:18:24
1206
1
原创 【Transformers】预训练模型使用工具Transformer(2)：文本分词
从结果中我们可以看出，结果的首位增加了特殊的token：[CLS]、[SEP]，这两个token的起着指示句首和句尾的作用；如果将这些tokens转换成字符串时，带有前缀的token会和前面的token合并，我们可以使用tokenizer的。有了上面的数据batch数据去训练或者去预测还是不够的，我们知道pytorch中有DataLoader这个类去对dataset数据进行批次化处理，方面模型训练和预测，transformers当然也有。在实际的模型微调，数据预测时，通常使用的批次数据的处理。...
2022-08-28 23:27:23
2467
原创 【Transformers】预训练模型使用工具Transformer(1)：初识Hugging Face
上面包含的自回归模型如：GPT2，Transformer-XL，XLNet，自编码类型的BERT，ALBERT，RoBERTa，ELECTRA以及seq2seq类型的BART，Pegasu，T5等模型。hugging face是一个开源社区，它提供了一个可以上传先进NLP模型、数据集的一个平台，我们可以在这个平台上下载相关的模型，以及还提供了其他便利的工具，例如我们要介绍的transformers工具。由于是第一次执行，程序会自动下载对应的模型，下载模型的速度也是蛮快的。这些模型，数据集怎么使用呢？...
2022-08-28 11:29:14
2715
原创 【NLP】AI相关比赛汇总（2022）
主要查找的是国内的一些比赛平台。以往举办的一些平台不能够访问的，或者比赛列表中近年来没有相关比赛的就没有放上去。读者可以根据自己的喜好选择合适自己的平台进行学习和演练，好运哦。当然，以上平台也是从互联网中查找的也不一定全面，欢迎补充。......
2022-08-27 15:46:24
4084
7
原创 【NLP】基于神经网络PCNN（Piece-Wise-CNN）的关系抽取模型
总得来说，在限定域的pipline形式的关系抽取中，使用分段的最大池化能够减少人为特征提取的操作，再引入远程监督的内容后，使用多实例学习的方式在一定程度上也能够减少远程监督引入的错误，使得关系抽取的整体效果达到当时的sota水平。当然也存在不足之处，多实例学习仅从某个实体对句子中挑选最可能的句子进行反向传播计算，这也必然造成信息的大量损失。
2022-08-21 14:36:32
3415
常用6722个繁体简体mysql数据库
2018-11-25
用java调用python
2018-03-21
latex代码显示文档.zip
2020-02-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人