大模型+大资料=神奇结果 3-另辟蹊径：KNNLM 心得笔记

KNNLM是什么

如下是KNNLM的基本原理和示例

KNNLM可以让训练者把所有的训练资源一股脑全部投入进去，让模型自行寻找相关线索完成任务，输出与普通训练进行加权得到真正结果。

KNNLM有什么好处

横轴表示KNN学习的资料量，纵轴是一种与任务正确率成负相关的函数，可以看出100Mtoken训练的模型，在KNN的加持下经过一定规模可以超越3Btoken的模型。

这是KNN规模和λ的关系，其中λ就是上文提到与普通学习做加权平均时，KNN的权重参数，这代表KNN是变得越来越准确的

KNNLM的缺陷

KNNLM之所以没能成为主流，主要是因为在与database中的资料计算相似度和distance实在是太消耗时间了，这个步骤必须在任务途中现场执行

如上是各种训练方法的“处理速度-准确度”关系，可以看出虽然KNNLM的工作结果十分不错，但效率明显很低。