深度学习机器

本文搜集了一些开源的基于LLM的RAG（Retrieval-Augmented Generation）框架

虽然目前二阶段方法用来提升RAG的性能表现越来越受到关注，但是具体来看，其中所含的技术都是早就有的内容。Cross-Encoder这种架构在当时显得比较鸡肋，只能用来比较句子的相似度，甚至无法输出向量，在大部分自然语言处理场景中都不受待见，谁能想到在如今又焕发生机了呢？

openparse这个库算是目前开源社区中比较优秀的文档分割处理库了，功能虽然全面，还是还有不少可以优化的地方，后续也会支持其他向量化模型，并且可以跟LlamaindexLangchain等框架无缝衔接，应该值得持续关注。

Chroma是一款AI开源向量数据库，用于快速构建基于LLM的应用，支持Python和Javascript语言。具备轻量化、快速安装等特点，可与Langchain、LlamaIndex等知名LLM框架组合使用。

目前该项目更新非常快，从路线图看后期还会支持更多模型和功能。相比于研究更强大的模型，减少技术的使用门槛对于普通人来说，显得更有实际意义。

在LLM出现之前，传统的深度学习模型（包括CV和NLP）就已经需要大量的数据进行训练和微调。没有足够的数据，或者数据需要进行二次加工（比如标签标注），这些问题都成为限制深度学习模型泛化的关键。对于第一个问题，一般就是从网络上爬虫或者花大价钱从数据供应商购买数据；对于第二种情况，一般是找外包进行标注，这在业界非常普遍。

之前用智谱AI的Chatglm3-6b模型写过一个简单的论文阅读助手，可用来辅助论文阅读等。而像表格，如Excel、CSV文件等内容的分析，也是不可忽略的需要，因此本文同样使用Chatglm3-6b来搭建一个表格分析助手，用于快速分析表格的内容，提取有效的信息。ChatGLM3 采用了全新的对话格式，除最基本的对话外，还支持工具调用和代码执行。简单来说，代码执行属于工具调用的子类，只是提示词不一样，而这两种功能是通过修改微调阶段的提示词来实现的。

向量模型用于生成向量表示，被广泛应用于检索、分类、聚类或语义匹配等传统的自然语言处理任务。到了大模型时代，由于上下文长度的限制，需要压缩、存储和查询大量的信息，这就需要用到向量模型对输入的文本进行向量化表示，然后再喂给大模型，以得到期望的输出。，例如处理数十页的报告综述等。

选择了一篇新闻稿，有比较明显的段落区分，每个段落由若干句子构成，可用于验证切分效果。

本文整理了一些简单的文本切分方式，适用于大语言模型经典应用RAG或相似场景。

在图生图中，使用Stablediffusion的pipeline来构建Webui应用，如果直接把参数传给pipeline是无效的。__call__参数中虽然有单独的weight和height这两个参数，但最终图像尺寸实际上是由传入图片的尺寸决定的，因此需要定义函数来做原始图片的尺寸变换，达到用参数来控制输出图像尺寸的目的，这可以通过resize调整图片尺寸大小来实现。上传一张初始图片图片宽度和高度按照比例调整，缩放到1.2倍，高度和高度同步变成1232。

Huggingface的实现了端到端的文生图功能，用户输入文字，即可得到最后的图片。但是在某些场景下，如果需要获取中间过程的图片，用于优化长时间等待过程的用户体验，就只能通过修改源码进行实现了。

langchain是一个非常热门的大模型应用开发框架，可以帮助我们快速开发基于大模型的下层应用。本文不打算使用langchain开发，而是用少量代码实现论文阅读助手这个功能。

通过一个翻译插件项目，我了解到怎么在原始的的gradio项目中添加额外的插件功能，而无需进行太多改动。而且这些插件功能通过js可以实现各种额外的功能，大大弥补了gradio的弱点。