weixin_46034279的博客

Top-p 采样中，采样不只是在最有可能的 K 个单词中进行，，而是在累积概率超过 P 的最小单词集中进行。在 Top-K 采样中，概率最大的 K 个词会被选中，然后对这 K 个词重新归一化，最后在这重新归一化概率后的 K 个词进行采样。假设 p=0.92，Top-p 采样对单词概率进行降序排列并累加，然后选择概率和首次超过 p=0.92 的单词集作为采样池。在 t=1 的时候，词集有 9 个词，而在 t=2 的时候，他只需要选择前三个词就超过了 0.92.对于输出概率陡峭的情况，可能效果不好。

开放域问答依赖于有效的段落检索去选择候选内容，传统的稀疏向量空间模型，比如 TF-IDF 恶和 BM25，确实是一个方法。在这项工作中，我们证明了检索实际上可以单独使用密集表示来实现，其中嵌入是通过一个简单的双编码器框架从少量的问题和段落中学习到的。在广泛的开放域 QA 数据集上进行评估时，我们的密集检索器在前 20 个段落检索准确率方面的绝对性能大大超过强大的 Lucene-BM25 系统 9%-19%，并帮助我们的端到端 QA 系统在多个开放域 QA 基准上建立新的最先进水平。

倒数排序融合 RRF 是一种简单的方法，用于结合多个 IR(Information Retrieval) 系统的文档排名，始终比任何单独的系统产生更好的结果。通过使用 RRF 来结合几个TREC实验的结果，并建立一个 元学习器，该元学习器 对 LETOR 3 数据集的排名优于任何先前的方法，从而证明了这一结果。

你可以为查询参数声明额外的校验和元数据。aliastitledeprecatedmin_lengthmax_lengthregex在这些示例中，你了解了如何声明对str值的校验。你能够以与查询参数和字符串校验相同的方式使用QueryPath（以及其他你还没见过的类）声明元数据和字符串校验。gt：大于（greaterthan）ge：大于等于（gequal）lt：小于（lessthan）le：小于等于（lequal）与 JSON 不同，HTML 表单 (

我们引入了一种名为IA3(通过抑制和放大内部激活的注入适配器, Infused Adapter by Inhibiting and Amplifying Inner Activations)的新的PEFT方法，该方法通过学习向量缩放激活，在只引入相对少量的新参数的情况下获得更强的性能。我们还提出了一个基于 T0 模型的简单配方，称为T-Few，可以应用于新任务，而无需针对任务进行调优或修改。

通过提出的两种技术实现了高保真度的4位微调——

之前的微调方法(如低秩更新)通常将增量更新的预算均匀地分布在所有预训练的权重矩阵上，并且忽略了不同权重参数的不同重要性。结果，微调结果不是最优的。为了弥补这一差距，我们提出了AdaLoRA，它根据权重矩阵的重要性得分自适应地在权重矩阵之间分配参数预算。特别地，AdaLoRA以奇异值分解的形式将增量更新参数化。这种新的方法允许我们有效地修剪不重要更新的奇异值，这实质上是减少它们的参数预算，但避免了密集的精确 SVD 计算。

"r": 8,# 起始rank"alpha": 8,# 与rank相同"dropout": 0.1,# 默认dropout"target_modules": ["q_proj", "v_proj"]# 基础配置Step 1: 先固定其他参数,调整 rank 和 alphaStep 2: 确定最优 rank 后,可以尝试增加 target modulesStep 3: 如果还不够好,可以调整 dropout 或 学习率rank 设置过大可能导致显存不足。

权衡准确率和可训练任务特定参数的数量，对于 adapter 微调和 finetuning。y 轴以全量微调的性能为基准，x 轴是微调参数量。曲线显示了 GLUE 基准九项任务的第 20、50 和 80 百分位数性能。基于 adapter 的调整在训练参数数量减少两个数量级的情况下取得了与 全量微调 类似的性能。提出了 compact 和 extensible 下游任务模型的迁移学习策略紧凑型(compact)模型是只需要为每个任务添加少量参数，就能解决多项任务的模型。

手动的离散提示通常导致一个不稳定的性能——比如，在提示中改变一个词可能导致性能大幅度下降。于是提出了新颖的方法 —— P-Tuning，它采用连续的提示 embedding 与离散提示 结合在一起。P-Tuning 不仅能够通过最小化各种离散提示之间的差距来稳定训练，还能在很多基准测试中提高性能。预训练模型一般都可以通过手动编写提示模版进一步的提升性能。但是，手动的离散提示有很大程度的不稳定性。如图所示，仅仅改变一个单词，就导致了准确率大幅度的变化，但是 P-Tuning 基本稳定。

微调技术从最早期的全模型微调演变成如今的各种参数高效微调(PEFT)方法，背后是为了应对大模型中的计算、存储和数据适应性的挑战。

在开发RAG系统的过程中，比较头疼的就是怎么评测做出来的系统的好与坏。人工评测最直观，但是局限性很大，且不够客观。所以 RAGAs 作为一个很方便的一个测评 RAG 系统的工具而问世。让我们来看看他的真面目吧。

今天一下午写了8，9个 PDF 抽取的脚本。最后又回归最开始简单的模式了，要疯了，谁懂啊。我是下午的工作是这样的(我是这么疯的)

包含了所有经过处理的 本地数据集 和 在线数据集。如果使用本地数据集， 务必在中添加对应数据集及其内容的定义目前支持Alpaca格式 和ShareGPT的格式。

大型语言模型（LLM）的高吞吐量服务需要一次处理足够多的请求。然而，现有的系统很难做到这一点，因为每个请求的键值缓存（KV 缓存）内存都很大，并且动态地增长和收缩。当管理效率低下时，碎片和冗余复制会严重浪费此内存，从而限制批处理大小。为了解决这个问题，我们提出了，这个注意力算法的灵感来自经典的虚拟内存和操作系统中的分页技术。在此基础上，我们构建了 vLLM，这是一个 LLM 服务系统，它实现了（1）KV 缓存内存的近零浪费，以及（2）在请求内部和请求之间灵活共享 KV 缓存，以进一步减少内存使用。

BERT 和 RoBERTa 在语义文本相似性（STS）等句对回归任务上设置了新的最先进的性能。然而，它需要将两个句子都输入到网络中，这导致了巨大的计算开销：在 10000 个句子的集合中找到最相似的一对需要大约 5000 万次 BERT 推理计算（约65小时）。BERT的构造使其不适合语义相似性搜索以及聚类等无监督任务。

normalization 的计算一般都是对数据进行“减均值，除方差”的操作。他们都能缓解 ICL 的内部偏移现象，不同点在于特征映射的维度，所以导致了应用范围的不同。在 CV 时代，normalization 几乎被 BN 支配；但是在 NLP 时代，LN 却变成了主流，为什么呢？在自然界中，大多数的客观事物都遵循高斯分布，

BLEU优点：计算速度，适合评估机器翻译等文本生成任务的准确性。依赖于 n-gram 匹配，所以对短文本评价友好缺点：无法衡量语义，容易惩罚语义合理的表示；对自由度较高的生成任务表现不佳使用场景：机器翻译、文本摘要，尤其是目标文本相对固定的情形ROUGE优点：对文本摘要任务适用，尤其是 ROUGE-L 可识别长的匹配序列，适合评估摘要生成中较长的语义片段缺点：依赖表层匹配，缺乏对语义的深层次理解使用场景：在摘要生成任务中表现良好PPL。

是否大家在部署大模型的时候，总会遇到显存不足的问题呢？明明我的设备能存下模型参数啊！凭什么超内存了了呢！？其实，这是 KV Cache 在作祟KV Cache 是一种大模型推理加速的方法，该方法通过缓存 Attention 中的 K, V 来实现推理优化。

提到非结构化数据的检索，常常用到 ElasticSearch，他是什么呢？ElasticSearch 是一个基于 Apache Lucene 的分布式搜索引擎，可以作为实时文档存储系统，且文档的每一个内容都可以被检索，能够处理 PB 级别的结构化和非结构化数据。ElasticSearch 本身具有分布式特性的特点。背景Lucene 是为了解决大规模文本数据的高效检索问题而设计的。90 年代末，互联网的内容量飞速增加，企业的大量文本数据难以快速检索。