《向量数据库指南》——AI应用长文本与RAG场景：客服与Sales Agent

场景：客服与Sales Agent

---

客服与Sales Agent选择取决于知识库复杂度

• 场景所需要的文档量级会直接影响选择，例如几千字或者几万字规模适合长文本模型+上下文缓存的方式，不仅能优化价格，还可以优化First Token的延迟。

• 例如营销群里的段问题，多数已经不需要人工介入，大模型能回答得很好，并且延迟可以控制在2-3秒。

• 例如游戏客服的文档在几万字，也符合上面的要求。还有一些特定场景，请求比较频繁，共同的上下文比较集中，例如AI翻译、针对AI文档的回答等，也适合长文本。

• 但到了更加复杂的场景，例如大型呼叫中心或者作业辅导，就需要长文本+RAG；如果长度特别长，那可能就需要主要依靠RAG。

长文本在相对简单知识库时候的优势

• 单纯从开发角度来说，只用长文本会有优势，开发比较简单，基本上不需要复杂的机构或者使用其他的第三方工具，只需要把文本转化成text，然后全部给大模型的message里即可，这个不在于使用效果有多大的差别，而是对于开发者的负担比较小。

• 如果用户侧问经常问一些刁钻的问题，比如模型的推理价格报表，或一些比较复杂的问题，比如用 a 模型相较于 b 模型能省多少钱&#x