paper
文章平均质量分 82
Yuerya.
此人不懒!〈掐腰〉
展开
-
Llama 2 模型
序列化:将文本进行Tokenization,将其切分成单词或字符,形成Token序列。之后将文本序列转换为索引序列(语料库中的index) ---- sentencepiece (开源的文本Tokenzier工具)中,超过两个类标签则需要类成员关系。对于长度为K的任意实向量,Softmax函数可以将其压缩为长度为K,值在[0,1]范围内,并且向量中元素的总和为1的实向量。maybe->当前Q会和之前KV进行计算,计算结束后就不会再使用了。batch_size:批量大小,每次处理的样本数。原创 2024-03-22 17:32:14 · 666 阅读 · 0 评论 -
RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
现有方法:1.对于语言模型预训练进行昂贵的特定检索修改2.使用了对数据存储器的事后集成,从而导致了次优的性能改进: RA-DIT:检测增强双指令调优对任意LLM加入检索功能两个微调步骤:1.更新预训练语言模型,更好地利用检索信息2.更新检索器,返回更相关的信息。原创 2024-03-22 15:54:16 · 642 阅读 · 0 评论 -
RAFT: Adapting Language Model to Domain Specific RAG
RAFT在训练阶段加入该领域的doc进行ft,生成阶段LLM与一个检索器配对,该检索器可检索到‘k’文档(或文档的特定片段)并附加到提示符prompt中。训练数据每个数据点包含一个问题(Q),一组文档(Dk)和从其中一个文档(D∗)生成相应的思维链风格答案(A∗)---->Q、Dk、A*文档分为两类:1. oracle(D*)可推断出问题答案的文档(可以为多个)2.Di干扰文档对于数据集:p%的数据 ---> 保存oracle文档和k-1个干扰文档(1-p%)的数据--->仅包含干扰文档。原创 2024-03-20 23:57:30 · 1555 阅读 · 1 评论