用1天时间开发了一款AI搜索助手！大量的token消耗把我劝退！分享一些经验心得！

这个月早初的时候，我花了1天时间开发了一款AI搜索引擎助手Miku，刚开发完因为token的大量消耗成功把我劝退。但不可否认的是，AI搜索引擎即将颠覆传统的搜索引擎，而且这个趋势已经到来。

本篇文章我将和你分享开发这个产品过程中的一些经验。

搜索的核心：事物对象级别的搜索

回到搜索引擎本身，搜索引擎的早期出现是为了解决互联网上信息过载的问题。随着互联网的快速发展，越来越多的网页被创建并发布，用户需要一种有效的方式来找到他们感兴趣的信息。

因此，搜索引擎的出现提供了一种更便捷、更高效的方式来检索互联网上的信息。

但是，搜索的本质在于以最少的信息输入，获取到最精准的结果。用户希望直接搜索最终的答案，例如用户问：“AI搜索引擎有哪些？”，希望得到对事物的精准描述——BingAI、Monica...，而非返回很多页面，让用户自己从众多页面中寻找正确答案。

而传统搜索引擎只能返回很多相关页面，用户需要从海量文本中自行寻找答案，即所谓字符串级别的搜索。

而llm+搜索即所谓事物对象级别的搜索，会对用户的语义进行解析，过滤掉网页返回当中无关的内容，并总结摘要精准返回给用户。

基于搜索的核心，llm+搜索必将取代传统搜索引擎。现在市场上也越来越多相关产品了，如monica，秘塔，perplexity，walles AI，thinkany等。

每一次搜索背后烧的是大量的Token

每一次搜索首先需要通过相关的搜索API返回相关文本内容，返回抽取的内容可以有标题、摘要、来源和对应的链接。

由于仅仅通过标题和摘要扔给大模型来解析是远远不够的，因为这些内容通常包含的信息不够全面，往往输出的搜索质量也不高。

于是需要获取每一个返回链接具体页面内的详细内容，并过滤掉无关的html，保留主要的文本内容，在将这些文本合并+prompt+用户输入问题暴力扔给大模型。当然其中为了提高搜索结果的质量，也可以采取相关的RAG策略进行检索，比如相似度匹配和知识简谱等。无论如何，这样每一次搜索都需要消耗大量的Token。

我简单几次测试下来，如果采样在8条搜索结果的情况下，平均每一次消耗的token大概在2-3万token，甚至有一次消耗接近5万token。

参考openai的官方价格，1万token为0.1美元，折算下来一次搜索的成本在1.4-2.1元，差不多一瓶矿泉水的价格。假设一天有10000人使用，每人只搜索一次，平均一次2万token,也得2亿token，折合人民币也得2.4万一天，这对于初创企业来说是不太友好的，因此也不得不被劝退。

AI搜索：如何真正做到深度和个性化？

如果采取付费的话，而仅仅只通过搜索引擎的信息源是不足以让用户埋单的。搜索引擎的内容本身就具有延迟性，而且也不能保证每一条都是高质量而全面的信息。

除非是真的可以达到高质量的个性化结果的输出。而这样的差异优势将更多来自于信息源的差异优势和对用户意图和知识的深度理解和个性化。就像黄仁勋说的信息处理的方式将从根本上发生变化，计算的未来将高度依赖生成而非检索。

比如用户将一个复杂的任务用简单的指令输入，如何识别用户的意图，并做任务流的拆解，分发不同的Agent进行实现。

这两天我在开发一个商业计划书生成器，通过用户的公司、产品、团队介绍等简单的基础信息生成一份商业计划书。

这里面会涉及到复杂的工作流，多角色扮演的Agent，一起交流讨论，分工合作，各负责哪个板块；用相关商业计划书编写书籍充当知识库做RAG；通过搜索引擎获取市场相关数据。其中如何做到深度和个性化也是整个工程的难点。

相信未来AI搜索不再只是处理简单的任务流，而是让搜索真正做到深度和个性化输出。特别是在垂类领域的搜索将变得更加有个性化这类的 而且空间很大！

欢迎感兴趣的朋友联系我

加入rag+agent探索群一起交流