weixin_46039722的博客

预训练收益更高，速度更快推理速度更快架构潜力尚未完全挖掘，比较有潜力。

LLM推理加速方案介绍和实验

LLM 大语言模型中，最基础的就是 Token Embedding，针对 Query 中的每一个 Token，其都拥有对应的 Embedding 作为其表征。由于 Attention 的设计，网络感知不到 token 之间的位置关系。以上图为例，每个 key 和 query 计算对应的相似度，由于 Query 是查找所有 Token 的向量并相加，所以调换 token 的顺序并不影响最终的 Query 向量，同理计算相似度并加权得到的 Attention Value 也不会受影响。而对于 LLM 对于自

近期 OpenAI 收购了数据仓库公司 Rockset，这背后的逻辑，其实并不在于数据仓库本身对于 RAG 有多么大的价值，而是相比其他数据仓库，Rockset 更是一个索引数据库，它对表的每列数据都建立了倒排索引，因此可以提供类比于 Elasticsearch 的关键词全文搜索能力，再配套以向量搜索，原生具备这 2 类混合搜索能力的数据库，在当前阶段，就已经没有多少选择了，再加上 Rockset 还采用了云原生架构，2 点结合，是 OpenAI 做出选择的主要原因。当然，这只是新的起点。