Lepton Search ：不到 500 行代码构建对话式搜索引擎｜开源｜可商用

最近前阿里巴巴副总裁贾扬清在 Twitter 上公布了 Lepton Search 的开源项目链接，Apache License 授权，任何人、任何公司都可以自由使用开源代码。大家可以阅读一下源码，非常简洁，核心部分用了 500 行 Python 就实现了一个类似 Perplexity 的生成式搜索引擎。

产品特性

Lepton Search 拥有一系列引人注目的产品特性，使其在众多搜索引擎中脱颖而出：

[1]. 内置支持大语言模型（LLM）：Lepton Search 深度集成了大型语言模型，这意味着它能够利用这些先进的AI技术来理解和处理复杂的查询，为用户提供更加准确和深入的答案。

[2] 内置搜索引擎支持：Lepton Search 不仅支持LLM，还内置了强大的搜索引擎功能，能够快速检索互联网上的海量信息，确保用户能够找到最相关和最新的数据。

[3]. 可定制的漂亮用户界面（UI）：Lepton Search 提供了一个高度可定制的用户界面，用户可以根据自己的喜好和需求调整界面布局、颜色主题和功能模块，打造个性化的搜索体验。

[4]. 可分享和缓存的搜索结果：Lepton Search 允许用户将搜索结果进行分享，无论是通过社交媒体还是其他平台，都能轻松实现。同时，它还提供了缓存功能，用户可以保存搜索结果，以便日后查阅，无需重复搜索，大大提高了效率。

[5]. 多语言支持：目前支持中文、英语、法语、德语和日语（按字母顺序排列）。有时 LLM 会坚持英文，但总的来说看起来还不错。

贾扬清表示，Lepton Search 的 idea 受到了 Perplexity AI、Phind 等由 LLM 驱动的搜索引擎的启发。

Perplexity AI 成立于 2022 年 8 月，是世界上首个对话式搜索引擎，它以对话式搜索引擎的先锋姿态，引领了搜索技术的新时代。借助GPT等尖端AI技术，Perplexity AI能够即时为用户的问题提供精准答案，对答案的准确性和响应速度有着近乎苛刻的追求。这家公司由OpenAI的前研究科学家Aravind Srinivas（现任Perplexity AI的CEO）和Meta的前研究科学家Denis Yarats（现任CTO）等一群行业翘楚携手创立。

自从Perplexity AI的搜索引擎面世以来，它便以其独特的魅力迅速俘获了众多用户的心，逐渐成为挑战谷歌等老牌搜索引擎的新兴力量。在新年伊始，Perplexity AI宣布成功完成了7360万美元的B轮融资，公司估值飙升至5亿美元，标志着其在AI领域的坚实地位。 另外，Lepton Search 背后使用 MistralAI 开源的 Mixtral-8x7b 作为支撑模型，运行在 LeptonAI 的 playground 托管平台上，吞吐量高达 200 tokens / 秒。该搜索引擎目前使用的是必应搜索 API，Lepton KV 作为无服务器存储。

在Mistral AI的Mixtral模型（一个拥有8x70亿参数的版本）的每秒处理Token数上，Lepton AI目前位居榜首。它是目前排名前三的Mixtral模型托管服务中，唯一支持完整32k Token上下文窗口的。Lepton AI还提供了极具竞争力的价格。Lepton 认为Mixtral是目前表现最佳的开源模型，无论是在性能还是质量上。

这个Mixtral模型的端点位于 http://search.lepton.run：每次查询都会同时发起两个请求，一个用于获取答案，另一个用于获取相关问题。

产品部署

Perplexity AI 的开源版本是“Lepton Search” 。我立即部署并尝试了一下，部署过程简单快捷，效果出乎意料地好！难以置信，这么高效的服务竟然能在短短10分钟内搭建完成，而且完全免费！ LLM使用的“mixtral-8x7b”，搜索引擎设置为“Bing”。

部署 Lepton Search 有两种方法：

1、在本地环境中部署

Lepton Search的部署安装步骤如下：

- 克隆Lepton Search项目：
在命令行中运行 `git clone https://github.com/leptonai/search_with_lepton.git`
- 安装Lepton AI：
在命令行中运行`pip install -U leptonai && lep login`，这将自动设置LLM和KV函数。
- 设置Bing密钥：
在命令行中运行`export BING_SEARCH_V7_SUBSCRIPTION_KEY=YOUR_BING_SUBSCRIPTION_KEY`，其中`YOUR_BING_SUBSCRIPTION_KEY`需要替换为你的Bing订阅密钥。
- 构建前端网络：
在命令行中切换到web目录，然后运行`npm install && npm run build`。
- 运行后台服务器：
在命令行中运行`BACKEND=BING python search_with_lepton.py`。

以上步骤完成后，Lepton Search应该已经成功部署并运行在你的本地环境中。注意，这些步骤需要在Python 3.8或更高版本的环境中执行，并且可能需要安装一些依赖包。

2、基于Lepton 云部署

如果您还没有，您可以通过按GitHub中的“Deploy”按钮 ( https://github.com/leptonai/search_with_lepton) 并设置搜索引擎 (Bing｜Google) 的 API 密钥来轻松尝试。

常见问题

问：Bing 的搜索 API 是免费的吗？

答：每秒搜索次数达3次即可免费使用。当然，如果您想为多个用户开发服务，则需要付费版本。然而，免费版本足以尝试个人的 Lepton Search。

问：Lepton Search 是否可以用于商业目的？

A. 是的，可以使用。 Lepton Search 是作为“Apache 2.0”开源发布的，因此也允许商业用途。

References

[1]. Lepton Search Online ：https://search.lepton.run/

[2]. Lepton Search GitHub：https://github.com/leptonai/search_with_lepton

[3]. 贾扬清 Twitter： https://twitter.com/jiayq