深度学习机器

这部分属于（pdf-document-layout-analysis）的内容，可以移步查看具体模型的介绍和训练过程。1.1 机器学习模型基于LIGHTGBM算法，并且只需要使用CPU资源，因此对硬件要求不高，速度快，但是只能处理文字类型的PDF。1.2 VGT模型能处理图片PDF，同时把版面内容识别为11种类型如果对表格、图片、手写内容的识别精度有要求，则需要使用该模型。

非扫描件无OCR要求直接使用即可，能正确保留双列布局的文本顺序，同时能提取表格和图片，而且表格是以List的格式保留。其余几个传统的PDF解析库倾向于对pdf进行编辑，比如添加水印，增加或者删除页面等。中文文档效果不好，而且还是通过API使用，但是每天有固定的免费额度，可以用于处理扫描件。deepdoc和MinerU是近期开源项目中比较强大的RAG解析工具。deepdoc优势点在于表格效果较好，亲测无边框的表格有大多数效果仍可圈可点，并且保留为html格式，因此允许合并单元格；MinerU。

比较准确。从上面的图可以看出，无论是可编辑的PDF还是扫描版的PDF，都能非常好的区分出版面中不同类型的部分，而且最终的结果是以Markdown的格式保存的，可以很容易把不同章节、不同自然段按需进行切分。

Deepdoc是RAG框架RAGFLOW中使用的文档解析工具。

等，如本项目中提到的。

Chat2DB项目地址：https://github.com/chat2db/Chat2DB简介：Chat2DB是一个通用的SQL客户端和数据分析工具，能够辅助生成SQL，同时支持对话式的数据分析功能，提供了网页、客户端2种使用方式，它支持几乎所有流行的数据库，并且chat2DB还开源了7B的SQL模型。特性：SQL生成、智能报告、数据探索。架构： SQL Chat项目地址：https://github.com/sqlchat/sqlchat简介：SQL Chat 是一个基于聊天

最近项目中需要用到js库来渲染pdf文件，调研后发现无论是reach-pdf.js或者是svelte-pdf.js都是在pdf.js基础上做了些许精简，反而功能还不如原始的pdf.js来得全面。但是原始的库几乎没有像样的代码示例，而能搜索到的大多数代码不少都是十几年前的了，在这个过程中踩了不少坑，做个记录，希望对看到的人有所帮助。

本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架

openparse这个库算是目前开源社区中比较优秀的文档分割处理库了，功能虽然全面，还是还有不少可以优化的地方，后续也会支持其他向量化模型，并且可以跟LlamaindexLangchain等框架无缝衔接，应该值得持续关注。

Lancedb是一个用于人工智能的开源矢量数据库，旨在存储、管理、查询和检索大规模多模式数据的嵌入。Lancedb的核心是用Rust编写的，并构建在Lance之上，专为高性能 ML 工作负载和快速随机访问而设计。

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。

虽然原始论文涉及到的知识包括随机分布，马尔科夫链等，而且推导过程极其复杂，但本文不会深入去推导相关的公式，而是把重心放在思考这个过程以及对其中发现的一些问题进行探讨。，因为一开始图片质量很高，加很小的噪声就发生很大的变化，而越后面的图片含有噪声越多，失真越严重，必须加更大的噪声才能引起较大变化。如果玩过文生图的话就能发现，选择了一定的采样步数后，前几步图片变化非常大，从模糊的噪声逐渐出现轮廓，后面几步基本不变，只是一些细节发生了变化。，然后我们用来进行训练一个模型，拟合训练数据的分布之后，就可以预测出。

目前该项目更新非常快，从路线图看后期还会支持更多模型和功能。相比于研究更强大的模型，减少技术的使用门槛对于普通人来说，显得更有实际意义。