RAG未来的出路

总有人喊RAG已死，至少看目前不现实。

     持这个观点的人，大多是Long context派，老实说，这派人绝大多数不甚理解长上下文的技术实现点，就觉得反正context越长，越牛B，有点饭圈化

，当然我并不否认长上下文对提升理解力的一些帮助，就是没大家想的那么牛B而已（说个数据，达到128K以上的语料数据，不到百分之5。尤其是对齐数据，这边更甚，不到总对齐训练语料的百分之2.5,大家自己琢磨一下）。

      我这也是因为想写这个，才想起来，之前写过一个系列，还没写完，后面我会补齐的。

       第一篇：长上下文训练的关键因素(1) (qq.com)

       第二篇: 长上下文训练的关键因素(2)-flash-attention (qq.com)

       RAG能干啥也这个就不用特意解释，就是给整个LLM系统，它其实也干不了别的。

•        加没有的数据，尤其是实时性。

•        减少幻觉

  <