这么多人搞大模型，怎么活

ChatGPT爆发后，一堆人都涌进来搞大模型，据说光北京就有100多个。但热闹归热闹，大半年过去了，还没听到有谁靠大模型开始赚到钱，似乎投资人越来越困惑，创业者心里越来越慌，要靠大模型赚钱似乎难上加难。

这么多人搞大模型，怎么活呢，我觉得基本是要死掉的。

现在这么多人搞大模型却发愁怎么赚钱，是因为很多人是以技术为起点去找商业化的方向（和现在搞这块的人主要是算法背景相关），不是以商业为起点去找能够强化商业价值的技术。

要靠大模型赚钱，首先要以商业为起点，选择好的赛道，合理评估大模型的价值，其次是产品设计，最后才是技术实现。

01

赛道

很多人以为有了大模型就有了无限可能，这话只对了一半，因为不是无限大，而是无限小。

实际上，技术进步通常不会带来新的赛道，因为赛道代表一类广泛的需求，技术进步只是用一种更好的方式满足需求。从纸媒到网媒再到头条始终满足的是对新闻资讯的需求，从服务器到云计算始终满足的是对存算资源的需求。技术也通常不会让赛道的商业模式有巨大变化，如媒体一直是很好的广告业务，云计算（IaaS）还是低毛利的生意。不要过于乐观的认为因为有了大模型技术，一个不好的赛道会突然变成好赛道。

当然，像PC、手机这种可以说是原来没有的需求，但这种机会又有几个呢。

既然大模型不会带来新的赛道，那用大模型做啥事，大概率就会遇到这个赛道里一堆对手，那就要评估自己在这个赛道的综合实力了。如果仅仅携大模型技术入局，其他方面基础都很差，机会渺茫。比方说用大模型做会议纪要，但公司并没有视频会议产品（基本上被腾讯、钉钉等几家垄断了），那活下来的几率就极低。

我是不太看好大模型会带来很多新的玩家，大部分机会还是来自于本身已经在某个赛道的企业，比如Salesforce搞了个爱因斯坦股价就蹭蹭的涨，想想看OpenAI的大模型再牛逼能干掉Salesforce吗。

对于那些仅有算法能力的团队，别单干，找到在某个赛道特别是产品方面有能力有基础的合作伙伴再一起干，要是找不到还是好好打工吧。

我们为啥干ChatBI？因为BI是不错的赛道，我们的产品能力也不弱，但因为入局晚，业绩始终无法突破。但大模型出现后，我们因为集团综合实力强，有条件率先实现大模型技术在BI领域的应用，而头部的几家BI厂商都不是大厂，算法能力薄弱，我们就有可能通过大模型技术实现产品能力的反超。

02

价值

很多人以为大模型价值无限，因此得拼命砸钱搞，这话也不对。要仔细看大模型能够对产品带来多少价值提升，是不是刚需。

再次以ChatBI为例。ChatBI让缺乏技术背景的业务人员特别是管理层能够更自由的获取和分析数据（以往他们都得找人），也能增加大屏能展示的信息量和科技感，所以价值是肉眼可见的。但另一方面，我们也要意识到需要使用ChatBI的频次也不会很高（大多数还是看报表）。所以我们做是要做，但也谨慎控制投入。

其次要关注大模型是否可以达到生产可用的成熟度，现在技术圈也很流行虚假宣传。很多应用demo特酷，但上不了生产。比如很多视频搞得以为人人都可以开发软件，但新近发布的SWE-bench说明已有大模型解决真实问题的几乎为零。再比如基于大模型的文档问答似乎能给智能客服带来革命性的提升，但实际上因为大模型总是会胡说八道，因此还是作为传统的知识库问答技术的补充存在。

最后还要拷问自己要达成这一价值是否非大模型不可。比如虽然基于超大规模的大模型做代码补全的效果会更好，但考虑到推理成本（大模型的推理成本理论上和模型参数规模的平方成正比）和响应速度，生产上更好的选择是相对小的模型，如只有0.35B的Codegen或1.1B的Santacoder。

03

可信

大家都知道大模型有胡说八道的幻觉问题，这问题技术上无解，但很多生产应用又不能接受出错，如数据分析就是典型。

这看起来无解，但在一些领域其实是有解的，我称之为可信。可信是指确保大模型出错时用户能识别，避免大模型误导用户。大家都能理解大模型无法100%正确，所以只要能做到出错时用户能识别，就可以接受。

要做到可信，需要用另一种精确的手段告知用户大模型对问题的理解和处理过程。比如做软件的对话式交互，我们可以让大模型根据对话内容自动生成表单，填写内容，但一定要通过图形化界面展示，要求用户确认。

ChatBI怎么做到可信呢？有人说给用户看SQL，这当然也是一种方法，我们也提供了，但ChatBI本来就是也想给不懂SQL的业务（包括CXO们）用，这种怎么办呢。ChatBI是大量借助BI原有的能力做到可信，设计了一种精确算法生成处理过程解释，如果大模型理解错了，用户一看过程就能发现。

这也可以用来分析智能编程和低代码的关系，GPT出来后很多人认为低代码没有价值了，其实不是。智能编程是可以自动生成代码，但因为大模型的技术限制，所有代码仍然需要人来审查、修改，这就没有降低编程的技术门槛（虽然一定程度上可以提效）。要降低编程的技术门槛，必须提供更易于学习和理解的编程语言和编程框架，这就是低代码的价值。

04

可修正与可运营

如果大模型经常出错，即便用户能发现，体验也很糟糕。所以还必须得提高大模型的准确率。大模型被吹得这么厉害，搞得用户以为大模型天然啥都能干，但实际上在很多场景的正确率并不是很高（如在ChatBI场景正确率通常只能达到80-90%）。

要提高正确率，第一位当然是训练垂直模型。比方我们有客户测过某通用大模型，在ChatBI场景的准确率还不到30%，我们基本能到80%。

除此之外，重要的是要做到可修正和可运营。

可修正就是将对话式交互和图形化交互相结合，当大模型处理出错时，让用户能通过图形界面方便的进行修正。我们今年技术马拉松的获奖队伍就采取这一思路，获得评委的一致认可。ChatBI也使用这一方式，用户只要点击解释文本边上的修改标志，系统就将文本解释变成图形界面，让用户方便地删除或增加筛选条件。

可运营是指通过运营配置让大模型在遇到常见或疑难问题不犯错，这点在给领导用之前是必备啊。大模型虽然学习了很多通用知识，但不了解特定行业尤其是具体业务的知识。如大模型并不知道杭研表示杭州研究院，也不知道计算DAU应该采用平均值。

所以ChatBI就允许管理员配置Q/A对，作为few-shot的输入。也支持通过配置为大模型持续注入具体业务知识，如同义词、指定指标的计算方式等。

可修正和可运营是提升用户体验的有效方法。可运营提升了正确率，可修正降低了大模型出错时的修改成本。

05

用好产品基础

还要注重充分利用已有产品能力，不要什么都让大模型干。再次以ChatBI为例。大模型虽然具备将自然语言翻译为SQL的能力，但每种数据库都有一些SQL语法上的局部差异，要让大模型很好的掌握数十种数据库的SQL语法非常困难。

但有数作为一个研发多年的BI产品，在实践中已经打磨出四十多种主流数据库（含数据仓库）的SQL语法支持能力。所以，我们将大模型的SQL查询先翻译为有数BI的查询语言VQL，这样就可以借助有数BI已有能力支持MySQL、Oracle等各种数据库。

这个例子再次说明大模型很难独自商业化，假使一个只擅长大模型技术的团队来类似ChatBI的产品，即便大模型技术本身能比我们做的更好，但因为没有BI产品的基础，在支持的数据库种类上就和专业的BI厂商有很大差距。

06

小结

最后，我以“技术无价，产品为王”做个总结，技术本身没有价值，开发出好的产品才是关键。各位大模型的创业者们，哪天不怎么讲大模型了，哪天才可能活。