使用大模型进行代码阅读——关于LLaMA模型代码的一些思考

使用大模型进行代码阅读

关于LLaMA模型代码的一些思考

关于这个模型的代码其实挺简单的，如果了解transformer decoder的代码，这个代码理解起来相对会比较容易一些，但是在这个代码里面有几个问题，是自己的一些思考或者是疑问点吧，然后我就尝试去用大模型帮我去做了一些回答。

但是还是有一个疑问就是，为什么queries不需要存到缓存里面？

后来自己尝试理解了一下，是不是因为在进行attention计算的时候，我的key和value都是局部的，但是算的时候要跟整个序列即q去进行attention打分。而且key和value它是通过滑动窗口的形式去进行存储的，在计算和填充的时候会被多次的用到，但是我觉得query也是会被多次用到的，大模型告诉我说因为query后面不会被用的，所以不需要存储，有一点疑惑。

OK，下面我们来看一下效果吧。确实有被惊艳到。