【AI】AI应用的成本，以及对企业影响的一点思考

1 综述

大模型的使用成本是所有公司上马AI应用最关心的事情之一。往大了说，解决的问题是收益，付出的代价是成本，如果收益没法覆盖成本，那投资必定不可持久。

当然事情并没有那么简单，毕竟能用AI做的事千千万万，解决的方式方法和对应的成本也千差万别：如何选择AI的使用场景？对结果应该抱有怎样的期待？AI将来的发展会让哪些成本大幅下降？如何运用好现有的资源，在可以接受的成本下做出可以落地的应用？这应该目前是全世界对AI感兴趣的公司都在寻找的答案。

2 AI的成本来自哪里

想知道一下AI对大厂和小厂的成本影响，应该先弄清楚成本来自哪里。

2.1 Token成本，或者说算力成本

2.1.1 产品质量控制成本（测试成本）

无论是大模型的迭代还是出于成本或安全的考量，大模型会经常更新。作为给大模型参考的数据集也会经常更新，这些更新会导致你之前测试满意的结果在更新后返回不同的内容，这内容可能是更好了，也可能不再满足要求。AI的测试与程序的测试大不相同，因为AI返回的内容不是固定的，要判断AI的答案对不对，要么用人去测试，要么用AI去测试。用人测试对于上了规模的产品肯定是不现实的，而用AI测试本身就是在使用AI，是要消耗算力的。

2.1.2 AI理解材料的成本

无论你喂给AI的资料来自于数据库还是搜索引擎，这些内容都需要换算成token。如果你资料很多，大模型一次读不完，你还要分批次的喂，然后来一次“分——总”式的总结。因此你提供的资料越多，消耗的token也越多。为了控制住成本你需要尽可能在调用AI之前去除掉不相关和低质量的内容。

2.1.3 提示词成本

虽然从直觉上提示词不会占用很多的token，但是在Agent的场景下，tool需要靠提示词来让AI理解自己的用途，如果你的Agent里放进了很多tools，且不说AI一次对话的tokens有数量限制，这么多的提示词会大大压缩用户提出问题的字数上限，每次都读入这么多tool的介绍也是在浪费tokens。为了节省tokens，你应该采用更多的分层来组织你的tools，把提问分流下去，避免让一个Agent包办一大堆tools。

2.1.4 聊天机器人的summary

在怎样总结与AI的对话内容，让AI拥有长期记忆中的summary，每次对话都会被发送给大模型，summary的字数限制如果设置的太大也会消耗掉很多tokens

2.1.5 ReAct Agent的“想——做”循环

ReAct Agent的“想”结果会和问题一起发送给“做”，ReAct Agent 可以在得到最终答案前把“想”和“做”重复很多次，每一次重复都会增加 tokens 使用量。一个复杂的任务会产生很多次的AI调用和token开销。

2.2 数据成本

以做知识库为例，你需要准备足够多的数据来完善知识库，这里有大量数据整理、校验、录入、更新的工作。为了提高回答质量，减少无效的召回内容，进而减少token使用量，你需要对知识库的内容本身需要优化。这里只有小部分能用现有的技术实现，比如把用户点击“满意”的答案直接存到ES里下回直接调用，而大多数情况需要人来完成，数据的成本也是人的成本。

2.3 业务流程梳理成本

如果你做的是用chain做业务流程（SOP），梳理业务流程本身就需要投入大量的人力，即便你不用AI是用传统的编程来实现，这个过程和成本也不会被省略。不过对于已经有SOP的公司来说，这个成本会下降很多。

3 成本变化带来的机遇和挑战

3.1 大厂的挑战和机遇

先说说挑战：

• 1. 对于大厂而言，最大的问题是AI的使用有着很高的边际成本，也就是算力的成本。原来每多服务一个客户增加的成本低到可以忽略不计，巨大的用户数量反而可以通过升级架构来降低成本。而AI的应用场景下，到每增加一个客户都会增加算力开销，更改架构对算力的影响远远不如过去的云服务大，“架构师”在AI领域没有那么大的附加值。
• 2. 大厂开发人员众多，对质量控制和责任划分有比较高的要求，我们前面提到，对于AI的自动化测试只能由AI完成，测试的成本远远高于普通代码，这就意味着追求质量把控和责任划分有着很高的成本开销。为此测试使用需要非常谨慎，测试流程也需要大幅修改。即便如此也不能保证100%可靠，搞不好互联网创业初期的“猴子测试”都会卷土重来。
• 3. 大厂的业务线非常多，如果采用统一的入口，就意味着需要建立起庞大的agent网络来分流用户的请求，这个分流的过程本身就会有计算开销。

再说说机遇：

• 1. 巨大的算力需求，使得在训练大模型和部署计算集群有成本优势的大厂在这个领域有着巨大的增长空间。
• 2. 大模型落地的种种成本，使得大厂在自己走完落地过程后，可以将这个过程打包成挣钱的业务，给中小型企业使用。参考亚马逊的盈利模式，软件服务领域的利润率甚至会超过大模型和算力市场。

3.2 小厂的机遇和挑战

机遇：

• 1. 大厂之间在大模型上的激烈竞争，会让大模型和算力的使用成本越来越低，质量越来越好。
• 2. 服务用户快速上升的边际成本，极大的抹平了大厂和小厂的差距，大厂已经不能像原来那样用“一次开发，到处使用”的方式来在细分领域里跟小厂抢客户了。他们的优势在给小厂提供更好的落地服务，而不是服务终端用户。小厂用较高的单位成本服务一小群高净值客户的模式，将会成为AI落地应用的新蓝海。
• 3. 小厂的灵活性使得在质量控制和责任划分上比大厂有着巨大的管理成本优势，这不是简简单单靠算力就能覆盖的了的。
• 4. 小厂的灵活性使得SOP的落地过程比大厂简单，风险也更低。天下武功，无坚不破，唯快不破。
• 5. llama3的出现，以及它相当于GPT3.5的表现，使得小厂可以灵活选择自己部署还是使用大厂的API，在安全和成本的考量上有了更加灵活的选择。

挑战：

• 1. 大量的算力开销，自动化工具的使用，使得小厂对于大厂的依赖度会有所提升，最后不排除大厂挤死竞争对手后来一波涨价完成收割的可能性。

4 总结

新AI应用的不断涌现，使得大厂和小厂在市场定位上拉开了差距。在垂直领域，服务客户的能力和成本小厂相比大厂的劣势在缩小，算力和自动化方面小厂对大厂的依赖会扩大，使得双方从竞争走向合作的路子越来越宽，这将开启新一轮创业热潮。

对于IT从业者而言，更多的中小公司出现，以及更细的业务梳理分工，会使得就业岗位随之增多，数据处理、SOP梳理、提示词工程、测试等细分领域都需要更加专业的人才。传统的一个CTO领导上百人的团队为数百万终端用户提供服务的模式，会渐渐向小团队为少量终端用户提供垂直服务的模式转变，新的业务模式会大量涌现。