【期末复习向】top-k方法

什么是top-k方法？top-k方法常用于解决许多海量数据处理相关的问题，例如在1亿个数据中找出访问次数前1000的热点数据，在海量搜索字符串中找出搜索频率排在前十的搜索字符串等等。而在分类问题中，top-k也有其应用。

例如在分类任务中的类别数很多时（如ImageNet中1000类），想要完美分类任务是比较困难的。但是模型虽然不能准确地将ground truth作为最高概率预测出来，但通过学习，至少groud truth的准确率能够在所有类中处于很靠前的位置，这在现实生活中也是有一定应用意义的。

对于文本生成而言，下一个字的预测也有多个概率。选取多少个字符进行采样是由自己决定的，增加k值会带来更多样化的结果，但输出错误的风险也会增加；减少k产生更安全但更低多样性的输出