MOE
FuseLLM
对于不同架构的模型如何进行
项目地址
fanqiwan/FuseAI: FuseAI Project (github.com)
文章解读
从语言模型的角度来看,概率分布矩阵可以反映其在理解文本时的某些固有知识。 因此,来自不同LLM的同一文本的不同概率分布矩阵,可用于表示这些模型中嵌入的不同知识。 认识到这一点,提出的 FUSELLM 方法通过概率建模来解决 LLM 融合问题,旨在通过合并源 LLM 的概率分布来创建统一的 LLM
为了实现这一目标,当从一组要融合的 LLM 开始时,FUSELLM 在反映预训练数据集的原始文本语料库上对目标 LLM 进行轻量级持续训练。 FUSELLM 不是仅仅依赖于因果语言建模( CLM )目标,而是非常重视最小化一个目标 LLM 的概率分布与其源 LLM 的概率分布之间的差异。
对于语料库 C 中的每个文本,应用提供的 K 个源 LLM 并获得一组概率分布矩阵,表示为 {Pθj },j=1,K,其中 θj 表示 LLM 的参数。 利用这些矩阵,将各个模型的知识外化到统一的空间中,本质上是在文本上创建统一的概率表示。 源 LLM 之间词汇差异可能导致矩阵 {Pθj} 无法对齐。 为了解决这个问题,采用了token对齐策略促进跨模型的更连贯概率解释
为了结合源LLM的集体知识,同时保留其独特的优势,必须评估不同LLM的质量并为其各自的分布矩阵分配不同的重要性级别。 为此,在处理文本 t 时,用分布矩阵和黄金标签之间的交叉熵损失作为 LLM 预测质量的指标(Marion,2023)。 源LLM的交叉熵分数越低,意味着对文本的理解越准确,其预测应该具有更大的意义。
疑问点
上述目标将序列似然分解为token级别的交叉熵损失
对于在已经生成的文字后的下一个token预测是如何通过概率矩阵展示的