实战AI智能体

缓存系统通过存储通常访问的数据来利用这种行为，这反过来减少了数据检索时间，提高了响应时间，并减轻了后端服务器的负担。传统缓存系统通常利用新查询和缓存查询之间的精确匹配来确定请求的内容在获取数据之前是否在缓存中可用。然而，由于LLM查询的复杂性和多，对LLM缓存使用精确匹配的方法效果较差，导致缓存命中率较低。语义缓存识别并存储相似或相关的查询，从而提高缓存命中概率并提高整体缓存效率。在语义缓存中，您可能会在缓存命中时遇到误报，在缓存未命中时遇到误报。，供用户开始评估其语义缓存的性能。

逻辑很简单，上下文越长，键和值越长，使用 Redis 存储内容所产生的费用也可以就会高得离谱。因此，使用基于磁盘（disk-based）的数据库进行缓存可能是更好的选择。无论是通过缓存整个问题还是仅缓存由分词器生成的关键字，Redis 都无法命中查询。而不同的单词在自然语言中可能具有相同的含义，深度学习模型更擅长处理语义。这里我有一点必须要分享，在搭建 ChatGPT 缓存系统时，Redis 并不是我们的首选。个人而言，我很喜欢用 Redis，它性能出色又十分灵活，适用于各种应用。

您可以在使用 GPTCache 时根据应用需求选择合适的大语言模型（如：ChatGPT、Langchain）、缓存存储（如：SQLite、PostgreSQL、MySQL、MariaDB、SQL Server、Oracle）以及向量存储（如：FAISS、Milvus、Zilliz Cloud）。GPTCache 模块化的架构设计方便用户定制个性化语义缓存。每个模块都提供多种选择，适合各种应用场景。

所以整个 GPTCache 系统共包含五个主要组件：转存失败重新上传取消。