一、前言
在第一篇学习中,我们初步掌握了KnowLM模型的使用。现在,我们将进一步优化该模型参数,以提高实体和关系的提取效率和质量。
二、术语
2.1. 波束搜索多项式采样
波束搜索是一种常用的文本生成算法,它在生成过程中保持一组最有可能的候选序列(称为波束)。在每个时间步,波束搜索会选择概率最高的一些候选序列,并继续生成下一个标记。这样,它可以在一定程度上控制生成的多样性,并获得相对高质量的结果。
多项式采样是一种用于增加生成多样性的技术。在传统的贪婪采样中,模型总是选择概率最高的标记作为生成的下一个标记。而多项式采样允许模型以一定的概率选择其他低概率的标记,以增加生成的多样性。具体来说,多项式采样从模型输出的概率分布中按照一定的分布参数进行采样,使得低概率的标记有一定的机会被选择。
波束搜索多项式采样综合了波束搜索和多项式采样的优点。它首先使用波束搜索来生成一组高概率的候选序列,然后对这些候选序列进行多项式采样,增加生成的多样性。通过这种方式,可以在保持一定的生成质量的同时,获得更加多样化的生成结果。