bylander的博客

SSM在推理时，可以类似RNN的循环结构，获得比较快的推理速度；而在训练的时候，可以通过采用卷积核实现并行化，获得较快的训练速读。

Softmax 注意力的问题是，Softmax是非线性的函数，如果没有 Softmax，那么就是三个矩阵 (query・key)・value 连乘 ，而矩阵乘法满足结合率，可以调整为调整为 query・(key・value)。 (query・key)得到是n✖n的矩阵，(key・value)得到的是d✖d的矩阵。在d远小于n的情况下，复杂度就大致从O(n^2)降低到O(n)量级。

这篇文章的核心内容和观点是讨论大型语言模型（LLM）中的外在幻觉问题。外在幻觉是指模型生成不真实、捏造、不一致或无意义的内容。同样重要的是，当模型不知道某个事实时，它应该这么说。文章主要探讨了外在幻觉的原因、检测方法和减少幻觉的策略。

Lilian Weng博客《What are Diffusion Models?》

陶哲轩介绍到被数学家接受并开始普及的方法：形式化证明辅助工具

大模型的预训练，虽然还在继续，但是似乎有点快到智能顶点了，self-play RL，是开启了新的智能道路

LLaMA 3 405B让开源闭源性能的两线出现了交点！

模型生成的输出质量比网上的大多数内容都要高。因此，让模型自己思考似乎更有道理，而不仅仅是训练来模仿网络上的内容。所以，我认为从第一性原理上来说，这是有说服力的。我会说，我们通过后训练取得了很多进步。

“一个领导者，要替大家把整个平台搭起来，把天花板撑高，大家在上面有很大空间可以发挥，可以挣钱”

关于自我提示，大语言模型在给自己出提示时，它往往比人类做得更好。所以，我们只需要让大语言模型制定一个提示词，就能得到我们想要的提示

看到所有这些公司的 CEO 都在吹嘘他们的 MMLU 参数指标（MMLU number, 大规模多任务语言理解基准）是很有趣的，而 MMLU 是丹·亨德里克斯 ( Dan Hendrycks ) 在大学本科时自己开发的一个评估。所以你基本上是看到万亿美元公司的 CEO 在谈论他们在一个本科生推出的测试中的分数，而这是目前最重要的推理评估（the premier reasoning eval）之一。

学习了微博网友@宝玉xp老师最新的文章，文章有很多关于Llama3的细节

从头开始学习 RAG，看Lance Martin的这篇笔记就行了，包含了十几篇论文和开源实现！