关于Text Generation的GenerationCoinfig参数

最新推荐文章于 2024-07-21 10:39:09 发布

萌新玉玉玉

最新推荐文章于 2024-07-21 10:39:09 发布

阅读量7k

点赞数 15

分类专栏： NBL 文章标签：算法贪心算法

本文链接：https://blog.csdn.net/Komach/article/details/129086525

版权

本文详细介绍了TextGeneration模型在生成文本时使用的各种参数，包括max_length用于限制生成文本的最大长度，do_sample控制是否使用随机采样，num_beams决定了生成候选解的数量，以及其他如min_length、early_stopping等参数，这些参数共同影响着生成文本的质量、多样性和完整性。

摘要由CSDN通过智能技术生成

在使用“Text Generation”时会用到.generation方法，这里记录一下所有可能用到的参数。

首先需要一个起始行的参数，即给定一个主题。如：“<|endoftext|>”
max_length ：即限定生成的最大长度，这里的长度指的token的长度。并且是最大的长度，在这个长度之内的其他长度的句子也是可以被生成的。
min_length：与max_length相反，限定生成的最小长度。在此不做赘述。
early_stopping：early_stopping 参数用于控制是否启用 early stopping 策略来提前终止生成序列的过程。在启用 early stopping 策略后，会在生成的序列中检查停止标记（例如，句号、问号、感叹号等），一旦发现该标记，就会将生成的序列剪裁到该标记位置，停止生成。这样，就可以确保生成的序列是自然的、完整的、有意义的，并且符合预期的格式和长度。
max_time：运行的最长时间。
do_sample：do_sample是一个布尔值，是指是否使用采样（sampling）方法来生成文本。采样是一种生成文本的方法，它从模型输出的概率分布中随机采样一个 token 作为下一个生成的 token，具有一定的随机性和多样性，因此生成的文本可能更加多样化，而不是完全按照概率分布中的概率来选择下一个 token。
具体来说，如果设置 do_sample=True，那么在生成文本时就会使用采样方法。在采样时可以指定一些参数，例如 temperature、top_p 等，这些参数会影响采样方法的结果，从而影响生成文本的多样性和质量。
如果设置 do_sample=False，那么就会使用贪心算法（greedy decoding）来生成文本，即每次选择模型输出概率最大的 token 作为下一个 token，这种方法生成的文本可能会比较单一和呆板。
do_sample的设置影响后续一些参数的设置，有些并不能兼容使用。
num_beams ：“num_beams"是在进行文本生成时的一个参数。它是指在生成一个序列的时候，预测模型同时生成的候选解的数量。在Beam Search生成文本的方法中，预测模型会对于每一个时间步，生成一定数量的候选解，选取其中最优解进行下一步预测，直到完成整个序列的生成。这个数量即为"num_beams”。
"num_beams"设置较高，可以增加生成的候选解的数量，从而得到更多可能性，但是会同时增加计算代价。因此，通常需要根据任务的需求，合理选择"num_beams"的值。
num_beam_groups ：num_beam_groups是在文本生成中使用的参数，它代表在生成给定序列的下一个单词时要使用的束数组数。一般来说，束搜索是一种生成文本的技术，它通过对生成的文本的分数进行排序来选择最佳的文本生成结果。
在num_beam_groups参数中，如果指定的数字为1，那么将使用单一的束搜索组，如果指定的