choose_c的博客

这篇博客介绍了一个名为“open-canvas”的开源项目，该项目由langchain.ai推出，旨在与ChatGPT合作进行写作和编程。博客详细描述了项目的实现逻辑，包括使用langgraph的流程图，说明了生成和修改内容（artifact）的各个节点及其输入输出关系。主要功能包括高亮选择、主题按钮的选择（针对代码和文本的不同主题），以及输入查询的处理。最后，博客提到用户风格和写作风格的反思过程，并鼓励读者访问项目的GitHub页面以获取更多细节。

检索增强生成（RAG）使大型语言模型（LLMs）能够利用外部知识源。尽管LLMs处理更长输入序列的能力不断提升，但实证研究表明，生成输出的质量在检索段落数量增多时会先提升后下降。本文探讨了这一现象，识别出“硬否定”对性能下降的关键影响，并提出无训练和有训练的方法以增强基于长上下文 LLM 的 RAG 的鲁棒性。我们展示了检索重新排序的有效性，并探索了RAG特定的隐式微调和带有中间推理的微调方法。最后，对这些有训练方法的设计选择进行了系统分析，包括数据分布、检索器选择和训练上下文长度的影响。

3.特定任务微调，在C-MTP有监督语料下训练，有监督语料量少但是质量高，为了缓解语料任务之间的矛盾，微调使用指令微调。对于每个小批，我们利用模型编码文本，收集输出的向量同时丢弃所有前向传播中的中间状态，最后汇总向量计算损失。2.通用微调，在C-MTP无监督语料下进行对比学习，没有特意挖掘负样本，而是以来批次内负样本，并通过增大批次从而增加嵌入的判别性。1.C-MTP，一个大型的文本嵌入训练集，包括了大量的非监督语料库和高质量标注的有监督语料库。3.最后将蒸馏损失和混合检索损失作为最后的损失。

1.一种新的MAE工作流，编码器和解器输入进行了不同的掩码。编码器编码的句子向量和解码器的掩码输入通过语言模型进行重构问句。2.非对称的模型结构，编码器拥有像BERT一样全尺寸的transformer，解码器只有一层的transformer。3.非对称的掩码比例，编码器：15%-30%，解码器：50%-70%。retroMAE这样设计的原因：1.auto-encoding对于编码质量的要求更高，传统的自回归更关注前缀，传统的MLM只掩盖一小部(15%)的输入。

原文链接：https://www.freddyboulton.com/blog/when-to-finetune?continueFlag=03133d546a002fc4ba73dda1632eeebe考虑到大语言模型(llama 70b, mixtral, claude...)的能力在不断的增强的情况下，微调是否仍然是值得做的事。下面是值得微调的一些原因： 1.提示工程达不到预期 一开始要进行提示工程而不是微调，因为提示工程是实现最低可行性产品的最快途径。 但是在

大模型背景下，两种不依赖大模型和prompt构建框架的的few shot文本分类方法，setfit和fastfit能够高效地实现少镜头下的文本分类任务。

尽管 MRL 的效率有所提高，但在获得嵌入之前仍然需要遍历所有 Transformer 层，这仍然是时间和内存消耗的主要因素。这提示考虑了固定数量的 Transformer 层是否会影响表示质量，以及是否使用中间层进行句子表示是可行的。它支持嵌入大小和Transformer层的弹性设置，提供了比MRL更大的灵活性和效率。有了这些优势，MRL 实现了基于准确性和计算约束的自适应部署。为了平衡计算成本和表示效果，使用了俄罗斯套娃向量表示（MRL）技术，传入维度参数后可以指定输出向量的维度大小。

论文：Weights Code Data Evaluation Adaptation。

检索增强语言模型可以更好的融入长尾问题，但是现有的方法只检索短的连续块，限制了整个文档上下文的整体理解。文本提出方法：递归对文本块进行向量化，聚类，摘要，从下到上构建一棵具有不同摘要级别的树。要解决的问题是，大多数现有的方法只检索几个短的、连续的文本块，这限制了它们表示和利用大规模话语结构的能力。这与需要整合文本多个部分知识的主题问题特别相关，前k个检索到的短连续文本将不包含足够的上下文来回答问题。为了解决这个问题，我们设计了一个索引和检索系统，该系统使用树结构来捕获文本的高级和低级细节。

2.RAG v.s. 微调：RAG对于微调的优势：更新相关文档，控制用户访问文档权限。3.不在上下文：合并策略限制，检索到了答案相关文档，但没有合并进上下文。论文地址：https://arxiv.org/pdf/2401.05856.pdf。7.答案不完整：信息遗漏，答案在相关文档中没有被LLM完整提取。生成组件：使用检索到的信息作为相关上下文为用户查询生成答案。4.没有提取到：相关文档太多噪声和矛盾，LLM不能正常回答。2.遗漏排名靠前文档：答案在文档中，但文档的排名不够高。1.减少LLM的幻觉问题。

论文题目：FRESHLLMS:REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION论文由Google、University of Massachusetts Amherst、OpenAI联合发布。大部分大语言模型只会训练一次，不会被频繁的更新，训练用到的知识会慢慢过时，所以它无法适应变化的世界。论文作者提出了动态问答的基准测试，称为FRESHQA，并且提出了一种简单的解决问题的方法，FRESHPROMPT。

很多基于对比学习的方法用在无监督语料中，通过最大化对齐同一句子的最小扰动，并且鼓励向量在广泛文本语料中的均匀分布。本文方法提出最大化文本与其短语成分的组合之间的对齐。对比学习框架在计算机视觉中的成功很大程度上是由于用于创建正对时增强的多样性，这使得原始示例的身份保持不变，同时减少输入空间中的成对互信息。将相同的训练目标应用于句子的嵌入表示时，通过离散增强方法构造正向对没有效果。之前的研究通过消融实验可知，这样的增强对会损害相似性任务的下游性能。

以上的不一致问题只会出现在messages中的message包含了name关键, 也就是说在使用function这个role的时候才会发生，并且每添加一个有function的message，最后的token差距增加2。所以可以看出问题应该是出现在role为function的message环节的计算上，我猜测是gpt-3.5-turbo-0613模型使用了和gpt-3.5-turbo-0301一样的tokens_per_name，使用了-1而不是1，所以会出现2的差距。

Agent可以使用多个工具，并将一个工具的输出用作下一个工具的输入。follow up是gpt的输出，表示需要search tool搜索的问题， Intermediate answer 则为search tool的答案，循环多次之后得到最终答案。"时，gpt做出了进行调用get_info_from_web函数的决定，并且调用的参数为"query": "杭州天气"。以下是search agent的例子。调用第2步中gpt输出的参数执行相应的函数，获得中间结果。3.执行gpt的决定，获得回答问题的中间结果。

生成语言模型由于生成不可控，所以生成的自然语言是非结构话的文本。而prompt的出现使得用户可以将期望的输出文本格式进行约束和规范。LangChain中的output parsers模块可以使模型输出的期望的结构化文本，使用的正是prompt操作。

PQA的四种方法、数据、挑战、优缺点总结：四种方法的示意图：常见的PQA数据集：

查询时，查询向量分端后与聚类中心计算距离，各段相加后即为最终距离。使用对称距离(聚类中心之前的距离)不需要计算直接查表，但是误差回更大一些。先对空间的点进行聚类，查询时先比较聚类中心距离，再找到最近的N个点。SQ8：对向量做标量量化，浮点数表示转为int型表示，4字节->1字节。IVF-SQ8：量化操作，disk cpu GPU 友好。IVF-FLAT：量化操作， 准确率和速度的平衡。HNSW：基于图的索引，高效搜索场景。IVF-PQ：快速，但是准确率降低。ANNOY：基于树的索引，高召回率。

规律感知模块 span表征 用于实体类型的预测。规律判断模块 span上下文表征 判断是否是实体。

重新审视OOD检测的过度自信：基于自适应类相关阈值的重分配对比学习。