《向量数据库指南》——AI应用长文本与RAG技术爬坡

技术爬坡

---

长文本的技术爬坡方向

• 推理质量不能有所下降，如何在保质保量的做长文本的推理，是一件非常困难的事。

• 解决了能力问题之后，还要解决贵且慢的问题。前面讲到两个瓶颈，一个是推理成本会特别高，一个是首token会特别慢。在一个阶段解决好这两个问题之后，待上下文窗口再提升到下一个里程碑，这两个问题又会出现。

• 但还是要持续去研究expand context window, 因为有一个现象表明，当长文本能力上去之后，有很多附带的能力会涌现出来。

• 具体到以后长度能到多长，现在行业没有共识。具体的技术，从实验室环境到真正的生产环境，会有很大的gap。10 Million 的模型， 100 Million的模型可能已经有了，但是可能推不到生产。主要是延迟特别高，或者精度特别的差。

RAG的技术爬坡方向

• 整个链路变得更长了，远远比半年之前变得更复杂，