xzq_qzx_的博客

在人工智能的蓬勃发展浪潮中，检索增强生成（RAG）技术凭借其独特优势，迅速成为研究和应用的焦点。RAG技术巧妙地将大型语言模型（LLMs）的卓越生成能力与高效的信息检索系统相结合，为用户带来前所未有的交互体验。然而，随着技术的深入应用，一系列挑战也逐渐浮出水面。现有的RAG系统在处理海量数据时，常常面临效率和准确性的双重考验。尽管LLMs在生成流畅文本方面表现出色，但在面对复杂、非结构化的数据时，它们往往难以精准捕捉和提取关键信息。

这里囫囵吐糟的review了下相关代码，可以看到RAGFlow在工程方面做了较多的工作，和微调的模型结合产生了良好的化学反应，通过一些工程的优化解决模型的badcase，最终做出了体验较好的产品，这是RAG文档解析的光明大道。

在PyMongo 4.x版本中，URI选项和关键字参数的默认值从None变为了False。这一变化意味着PyMongo现在默认尝试自动发现副本集，而不再直接连接到单一的MongoDB服务器。因此，如果你希望与单个服务器建立直接连接，你需要明确地将设置为True，作为URI选项或关键字参数传递给。如果你在从PyMongo 3升级到4.x版本后遇到错误，那么很可能是因为自动发现副本集的默认行为导致的问题。在这种情况下，你需要在创建客户端时添加。

，在语言、音频、DNA序列模态上都实现SOTA，在最受关注的语言任务上，Mamba-3B超越同等规模的Transformer，与两倍大的Transformer匹敌，并且相关代码、预训练模型checkpoint都已开源简言之，Mamba是一种状态空间模型(SSM)，建立在更现代的适用于深度学习的结构化SSM (简称S6)基础上，与经典架构RNN有相似之处。

我们已经知道 RNN 被诟病的一个点恰恰是 hidden state 的记忆能力有限(毕竟hidden state 的大小是固定的, 但是需要记忆的内容是随着 sequence length 增加的，用一个有限的容器去装源源不断的水流, 自然要有溢出)那怎么改善这个问题呢？或者怎么定义一个好的 hidden state 的记忆假设时刻我们看到了原始输入信号我们希望在一个memory budget来压缩前面这一段的原始input来学习特征，一个很容易想到的方法是用多项式去近似这段input。

如本文开头所说，mamba论文的一作Albert Gu多年来一直在推动SSM的发展他在SSM的基础上，通过此篇论文《Efficiently Modeling Long Sequences with Structured State Spaces》首次提出了结构化状态空间S4(这里有关于S4的更多论文)，但这篇论文的可读性比较差当然，作者在YouTube上有一个关于这篇S4论文的精彩解读，比S4论文的可读性提高很多，且本文中也应用了其中的部分PPT截图，但还可以更加通俗易懂。

本文介绍了大模型部署工具vLLM，并给出了其三种不同的部署方式，在文章最后，介绍了笔者对于vLLM的实战。后续，笔者将会对vLLM的推理效率进行深入的实验。

当今，随着深度学习模型规模的不断增大和计算资源的不断提升，大模型已经成为了人工智能领域的一项重要趋势。大模型在各种任务中展现出了卓越的性能，例如自然语言处理、计算机视觉、语音识别等领域。然而，随着模型规模的增加，模型的计算量和参数数量也随之增长，导致了对计算资源的巨大需求。因此，为了在有限的计算资源下使用大模型，模型量化技术变得至关重要。模型量化是指将深度学习模型的参数和计算过程转化为低比特位的表示形式，从而在减少计算资源消耗的同时尽可能地保持模型的性能和精度。

通过最小化模型在训练集上的损失函数，模型会自动调整Feed Forward层中的权重和偏置，以使得模型能够更好地拟合训练数据，并且在未见过的数据上具有良好的泛化能力。常见的做法是将真实标签的值从1降低到一个较小的值(1 - ε)，同时将其他类别的值都增加到一个较小的值(ε / (n - 1)，其中n是类别的数量)，从而形成一个更加平滑的标签分布。此外，更大的模型还可以通过更长时间的训练来获得更好的性能，因为它们具有更多的参数和更强大的表示能力，可以更好地利用数据集中的信息。

在一系列的教育辅导对话中，学生可能会提出不同的数学问题或理解难题（如“我不太理解二次方程的求解方法”）。ConversationSummaryMemory 可以帮助 AI 总结之前的辅导内容和学生的疑问点，以便在随后的辅导中提供更针对性的解释和练习。

重排序是信息检索系统中的一个重要步骤，它发挥着优化检索结果的关键作用。在初始检索阶段，系统根据某种标准（如相似度）返回一组文档。然而，由于初始排序可能并不总是能够准确反映文档与查询的真实相关性，因此需要进行重排序来提升检索结果的质量。不同的重排序方法使用检索模型进行二次检索：一种常见的重排序方法是使用检索模型进行二次检索。在初始检索后，通过利用更复杂的模型，例如基于嵌入的检索模型，可以再次检索相关文档。这有助于更精确地捕捉文档与查询之间的语义关系。

论文地址：https://arxiv.org/pdf/2312.10997.pdf大型语言模型（LLMs）展示了强大的能力，但在实际应用中仍面临挑战，如幻觉现象、知识更新缓慢，以及在回答中缺乏透明度。检索增强生成（RAG）指的是在使用LLMs回答问题之前，从外部知识库中检索相关信息。RAG已被证明能显著提高答案的准确性，减少模型的幻觉现象，特别是对于知识密集型任务。通过引用来源，用户可以验证答案的准确性，并增加对模型输出的信任。它还促进了知识更新和特定领域知识的引入。RAG有效地结合了L

如果你已经熟悉检索增强生成（Retrieval Augmented Generation, RAG）的概念，请直接跳转到高级 RAG 部分。检索增强生成（Retrieval Augmented Generation, RAG）是一种技术，它通过从数据源中检索信息来辅助大语言模型（Large Language Model, LLM）生成答案。

这只是一个简单的演示样例，方便大家进一步理解和操作Chroma数据库，也希望大家一起进步，有问题也可以评论相互学习！

这是一个很不错的Agent实战案例，作为一个大模型小菜鸟可以学习很多实战思想。

随着大模型的崛起，数据的海洋愈发浩渺无垠。受限于token的数量，无数的开发者们如同勇敢的航海家，开始在茫茫数据之海中探寻新的路径。他们选择了将浩如烟海的知识、新闻、文献、语料等，通过嵌入算法（embedding）的神秘力量，转化为向量数据，存储在神秘的Chroma向量数据库中。每当用户在大模型的界面上输入一个问题，这个问题也会如同被施了魔法一般，被转化为向量，然后在向量数据库中寻找与之最匹配的相关知识。这些知识如同宝藏一般，被精心组合成大模型的上下文，为其提供了丰富的思考背景。这种方式不仅削减了大模型的计

1，2，3，4这四种评估指标是基础评估指标；5，6两种评估指标主要用来辨别一句话是否是人话的概率；7，8两种指标经常用于机器翻译、文章摘要评价任务指标；9，10两种指标经常应用于机器翻译任务指标。如果还有其他比较重要或者常用的指标也欢迎大家分享，相互学习！！！以上均为笔者在学习和研究过程中参考过的资料,并非原创,在此表明。笔者目前也正在学习和研究大模型对此领域还不太熟练,欢迎与我讨论,提出宝贵的意见和建议。

在中，我们介绍并给出了如何赋能大语言模型的基本示例。在本节中，我们会提供更多示例，介绍如何使用提示词来完成不同的任务，并介绍其中涉及的重要概念。通常，学习概念的最佳方法是通过示例进行学习。下面，我们将通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。

提示工程是一个较新的学科，应用于开发和优化提示词（Prompt），帮助用户有效地将语言模型用于各种应用场景和研究领域。掌握了提示工程相关技能将有助于用户更好地了解大型语言模型的能力和局限性。研究人员可利用提示工程来提高大语言模型处理复杂任务场景的能力，如问答和算术推理能力。开发人员可通过提示工程设计和研发出强大的技术，实现和大语言模型或其他生态工具的高效接轨。本指南介绍了提示词相关的基础知识，帮助用户了解如何通过提示词和大语言模型进行交互并提供指导建议。

是解决嵌套异步事件循环问题的得力工具，通过使用它，我们能够更加轻松地在异步环境中编写可靠的代码。希望通过本文的介绍，读者能够更好地理解的用法，并在实际项目中运用自如。让我们一同探索 Python 异步编程的奥秘！