支持5000万tokens！大模型+搜索架构才是未来！

▼最近直播超级多，预约保你有收获

今晚直播：《大模型在线架构设计与实现》

 —1—

搜索增强技术是大模型「外挂硬盘」

12 月 19 日，百川智能发布基于搜索增强的 Baichuan2-Turbo 系列 API，在支持 192K 上下文窗口的基础上，增加了搜索增强知识库的能力。

在百川智能创始人& CEO 王小川看来，「搜索增强」是大模型落地应用的关键，能够解决 99% 知识库定制化的需求。

LLM 大模型落地时存在一些问题：幻觉，回答不准确；时效性差，知识无法及时更新；专业知识不足，垂直落地门槛高等。

百川智能给出的解决方案是：长文本大模型+搜索增强，让模型能获取互联网实时信息，也能接入企业完整知识库。

「大模型是新时代的计算机」是业内常用的比喻，上下文窗口是模型能力的内存，而王小川认为，「搜索增强」是大模型的「硬盘」，将互联网实时信息和企业知识库像硬盘一样即插即用，「外挂在计算机上」。

今晚开场直播，我会详细剖析，请同学点击下方按钮预约直播。

 —2—

业界搜索增强技术的解决方案

目前业内已经有四种基于搜索的解决方案。

第一、学术界提出知识注入、知识研究的新研究方向，Meta Cove、Google LAMDA、OpenAI WebGPT 等都是类似理念的产物。

第二、RAG（检索增强生成）成为一个热门方向，生态包括 Langchain、LlamaIndex 等热门项目。

第三、OpenAI 在 11 月的开发者大会上，也发布了自研的 RAG 产品 Retrieval 检索工具 Assistants API。

第四、百川智能团队提出的搜索增强+长文本+大模型的方案。

在大模型无法直接落地到各种场景时，搜索能力的加入补完了大模型落地的完整技术栈。

在此之前，百川发布了向量数据库，也推出了 192k 的长文本模型。在这两者的基础上，百川实现了稀疏检索和向量检索并行，以及搜索系统与大模型的对齐。

经过百川智能算法团队的测试，搜索增强+长文本+大模型的方案，能够接入 5000 万 tokens 的数据集，比模型本身的 context window 提升「两个数量级」，实现 95% 精度的回答。

那么，大模型的搜索增强技术到底是怎么落地的？在企业级的应用案例中如何落地实践？

今晚20点直播我会详细剖析，直播精彩看点：

1、LLM 大模型在线搜索增强总体架构设计

2、LLM 大模型在线推理核心技术设计剖析

3、基于Baichuan2-Turbo 构建企业级推荐系统案例实战

请同学点击下方按钮预约直播，咱们今晚20点直播见！

END