Why do Nearest Neighbor Language Models Work?

语言模型是什么？
通过上下文的表示并使用表示预测下一个单词来计算概率

为什么引入检索增强偶线，特别是k最近邻语言模型(knn-lm)比标准参数LM表现得更好。

原因如下？
使用不同得输入表示来预测下一个token
近似knn搜索
softmax温度对Knnfenbu de zhongyaoxing

引言

1.语言模型
2.检索增强得LM
3.KNN-LM是比较著名得检索增强模型
4.由于KNN-LM是否可以提高因为这个LM得参数容量？
KNN-LM是否还能进行改进？
5.knn组件和标准lm组件之间得联系？
两个单词分布都是用softmax计算得
基于上下文嵌入与对应于不同下一个单词得一组嵌入的相似性。
我们将参数LMs中使用的softmax层和子嵌入层的非参数分布计算形式化并推广。
datastore里面的内容embedding的数量
softmax层中input representation的表示
不同相似性函数
knn搜索中的近似和稀疏化实现。

为什么好？
1。（）是重要的
softmax层的输出embedding用transformer的不同层两个表示

2。knn-lm使用近似最近邻搜索来处理大量的候选者，缺少精度性实际上有助于KNN-LM比使用精度最近邻搜索和距离计算。
正则化效应。

3。温度项的设置

引言与相关工作

本文试图解决什么问题？

这是一个新的问题吗？如果是，为什么值得研究？如果不是，已有工作有什么缺陷？

有哪些相关工作，如何归类，是什么启发了作者的这个思路？

与早期论文相比，这篇论文的关键区别和开创性工作是什么？
1.探索了knn-lm好的原因
2.解决Knn效率低下的原因，通过矩阵运算代表knn搜索来提高knn_lm的效率，可以加速内存，也可以保持一般以上的困惑都改进。

方法

knn-lm
上下文ci,下一token wi
(ci,wi)
knn lms创建一个数据存储
f(ci),wi)

KNN分布基于当前上下文和数据存储中最近邻之间的距离，并且softmax归一化
标准参数语言模型中，词汇表上的分布也基于距离的度量，当前上下文嵌入和词汇表中每个标记的单词嵌入之间的内积

实验

实验如何设计？

使用的数据集？

实验的结果有没有充分支持该工作是有意义的？

没看懂！！！！！！！！！！！！！！