大模型框架 DB-GPT 开源项目背后的故事

Part.1

缘起：嘿！这躁动的时代

一边是互联网以及传统行业的增长见顶，进入存量内卷；一边是 ChatGPT 打开潘多拉魔盒，围绕大模型的创新爆发。

在大时代的浪潮中，在交界线的我们，都面临着内心的焦急与躁动——嘿！这躁动的时代。

一个 6k star 的开源项目

故事要从一个 6k star 的开源项目说起。DB-GPT—— 一个围绕大语言模型与数据库的项目，旨在通过私有化的 LLM 技术定义数据库下一代交互方式。 

忽如一夜春风来，"软件生态进化论"者认为，在 AIGC 时代，所有的应用都将被重新定义。那么，数据库这样的基础软件呢？大概也会被重新定义吧。我们打算在实践中去探索未来的发展之路，基于这样的初心，我们发起了 DB-GPT 项目。从 4 月初创建仓库，到 5 月 1 日发布第一个版本，然后一路上 GitHub Trending、Hacker News 首页，获得越来越多开发者的关注。

在这期间，甚至一度有投资人喊出 6000-8000w 的项目估值，鼓励、诱惑我们去创业的投资人比比皆是，也有一些人想拉我们合伙，与此同时也有许多社区邀请我们联盟。

这些故事都来自 DB-GPT 这个项目，这个实验项目是一次打破边界的试探，一次铤而走险的尝试，一次同心同力的挑战。 

技术的趋势，时代的机会，焦躁的内心

“想要我的财宝吗？想要的话可以全部给你，去找吧！我把所有财宝都放在那里。”正如哥尔·D·罗杰临刑前的一句话，开启了“大海贼时代”的序幕。ChatGPT 的发布开启了大模型人工智能的潘多拉魔盒，伴随着大模型的能力被不断深挖，更大的想象空间正被逐步开启。 

2023 年上半年，围绕大模型的讨论、交流、脑暴、创新源源不断，涌动在多少人的多少个不眠夜之中。一时间大家都争先恐后想要证明自己，都想要飞起来。

当然我们也不例外，我们也想参与到这次大时代的浪潮当中，也想在风口上。但站在岸上，才发现作为基础数据库团队，大模型的技术貌似离我们很远，我们也很想拽住时代的尾巴，熟悉并培养相关的能力。但我们发现，别人的船都起航了，而我等的船，还不来。

但作为技术人，在技术的趋势面前，总要做点什么。于是开始研究技术，了解项目，写文章...经过我们的努力，文章上了蚂蚁集团内部头条了！BG 排行榜干到 TOP3 了！嘿，这风口，船还没开，已经飞起来了。 

整个 3 月，一直沉浸在各种爆炸的新闻当中，技术带来了一波又一波的冲击。这冲击不仅来自技术的趋势，还有大时代的机会。当然对于未登船的我们，还有一颗悬着的、焦躁的心。 

OneMore 小分队，如何定义多一点？

如果说 3 月是躁动的，那么 4 月份内心的情感经历更曲折也更丰富一些。

4 月初，在万般焦急之下，打开 GitHub，写下了我们的项目名 —— DB-GPT。转眼时间来到了月中，参加了公司内部的 520 期侠客行的 OneMore 小分队，正是这小分队给了我不少勇气。

或许大家并不了解 OneMore 小分队的背景，我这里也简单交代一下。侠客行是面向新任管理者的一个小培训，培训内容丰富：可以学到如何更好的对人，如何做更好的事。我们 OneMore 小分队顾名思义“也就是多一点”。具体多一点什么呢？我们的解读是：多做一点，多吃一点，善良多一点，友好多一点，指导多一点，PUA 少一点，幸福多一点，苦难少一点...总之就是多一点。

受到这样的理念的影响，我们后面也勇敢的踏出了 OneMore 这一步。 

KTV 醉酒夜谈，拿着话筒对未来指手画脚

前面谈到 4 月内心的情感会丰富一点，也因为在四月有许多的事情要去完成。作为一个一线的管理者，一个基层的夹心饼干，一线炮火的第一道堡垒，在做好组织信息传达且执行的同时，也要安抚好一线同学的情绪。让每个同学的情绪得到释放，让每位同学的价值能被看见，确实也是一件很掉头发的事情。 

所以在 4 月底的我们组织了 KTV 醉酒夜谈。借着酒劲，一方面表达我的无能，另一方面也对未来指手画脚。那夜，也不知道我究竟喝了多少杯。但我记得 N 杯酒下肚之后，我亮出了我的《最炫民族风》，一时间气氛也到了高潮，随着《吻别》等一众歌曲亮相，气氛越来越热烈，大家的脸上也泛起了绯红。借着酒劲，我们开始吐槽工作，吐槽生活，吐槽这内卷的时代。正当我们吐槽在最高潮的时候，耳畔响起了熟悉的旋律 《我还是从前那个少年》。

wu~ oh oh

wu~ oh oh

我还是从前那个少年 

没有一丝丝改变 

时间只不过是考验

种在心中信念丝毫未减

......

别因为磨难 

停住你的脚步 

坚持住 

就会拥有属于你的蓝图

一时间整个包间变得安静， 直到整首歌唱完。然后大家开始有一句，没一句的畅谈理想，畅谈初心。借着酒劲，我们也开始大胆的对未来指手画脚，开始讲自己想干的事情，开始勾勒未来的蓝图。然后团队成员在大模型这个技术浪潮上达成了惊人的共识，如果能参与到这项有意思的技术当中，可以业余时间以兴趣驱动，加班来搞。作为 TL，这样的话是把我架在火上烤。但既然大家要赌，那我们就造船启航，驶向新世界！

充实的五一、带娃与编码

KTV 醉酒夜谈是 4 月底最后一个工作日的晚上，过了这一晚就是五一节了，所以我们都喝得很放肆。不是说醉酒之后第二天会不记得之前发生的事情吗？为什么那晚的一五一十都那么清晰。本来酒后吹的牛是算不得数的，毕竟是醉话。但一字一句在我脑海里又是那么清晰，如果什么都不做，以后想要搪塞，可能会很难的。毕竟看大家在 KTV 的唱功，个个的都是高手。我怕哪一天他们拿着话筒对我唱：“说好的幸福呢，那些爱过的感觉都太深刻，我都还记得。”

然后就有了后面的故事，五一放假期间一边带娃，一边编码，写出了 DB-GPT 的第一个可运行版本。其实有了解的同学或许知道，大模型的开发其实门槛是很高的，当然不仅仅是技术门槛，还有昂贵的 GPU 机器。GPU 这道门槛，把许多人卡在了门外，对我们来说亦如是。为了做这件事情，我翻箱倒柜，翻出了尘封多年的高性能游戏主机。

不幸的是，这主机根本带不动大模型。呀！这个内卷的时代。你看，就连硬件也是一样，不升级就没饭吃。所以为了解决开发问题，不得不在网上买了最配的显卡，整个电脑从显卡开始，都里里外外全换了一遍。嘿！敬热爱。

Part.2

发展：划！这新时代的船

时代的浪潮，你跟随或者不跟随，它都在那里，有潮有浪。你喜欢或者不喜欢它，它都不会停留，奔涌向前。相比浪尖的波涌与凶涛，我们更适合——做划船的人，不急不慢，不骄不躁，目视前方，相顾首尾。

|新船起航，业余三人组

平心而论，蚂蚁的工作量是比较饱和的。为了我们的大模型共识，我们要确保做好自己手中工作之余，还要在自己不熟悉的领域，撕开一道口子去突破，必然要忍别人所不能忍，做别人之不能做。这何尝不是一种内卷？但这就是生存之道。 

师出无名，无粮无响，就这样我们出发了。结果怎样我们其实不知道，但这里承载着我们作为技术人的热爱。在日常工作之余，我们愿意在业余时间付出，去做一些热爱的事情，有意思的东西，这本身就是一种意义。

我们不知道未来结果会怎样，是因为我们看不清此项目短期的商业化价值。但我们相信，用私有化大语言模型定义数据库下一代的交互方式，会是数据库领域的未来。在这个不断被挑战价值与意义的年代，一个小 Team 讲未来，确实需要莫大的勇气，但我们就这么做了！

老男人的眼泪，总有那么几个感动的瞬间

前面提到，围绕大模型的开发跟传统的编码是不太一样的，这个领域是需要真金白银投入的，开发也不例外。因为我们项目的试验性，为了尽量不影响现有的工作，又有整块的时间来集中编码。我们把工作节奏调整为，晚饭 6 点之前，高效结束自己手里的工作，减少任何不必要的内卷。需求与评审会以问题跟结果为导向，会上直接讲问题与结论，大家事先线下看方案与文档，线上只讨论问题与结论，杜绝一切开会一堆人守着一个文档听半天的低效现象，也无可避免的砍了一些需求。就这样我们挤出来晚饭之后到睡觉之前的整块时间，计划的是 19:00～23:00 的四个小时，但所花费的时间比我们想象的更多，早期基本没有在 24 点之前结束过。

时间的问题得到了解决，剩下的就是机器。大模型之后 GPU 十分紧张，像我们这种项目想用 GPU 挑战很大。所以我们只能在云上购买，一般云上的一台 A100 机器售价高达几十万，这是我们想都不敢想的。所以我们只能用最便宜的按量付费，晚饭之前开出来，定时到 24 点关掉。但即使这样，A100 每小时也是几十块钱，一晚上的开发测试费用也超过小两百。而因为我们按量付费的模式，云上的机器不确定性也很大，有时候半天抢不到机器～ 

时间就这样一天天过去，一周多的时候，我们的云账单已经超过四千元了，这些钱是我们暂时以个人名义的垫付。有一次我打趣说，万一我们失败了，连立项都立不了，这些钱也就打水漂了。结果我们团队的同学说: "没事，如果没法立项，我们就自掏腰包分摊一下。"

或许说者无意，但听者有心，怎么做个小项目，搞得这么感动，果然还是年纪大了呀。

热爱的力量，凌晨 2 点的 PR 与联调

做开源是辛苦的，如果没有热爱与持续的自我驱动，要坚持下来是一件很难的事情。尤其项目遇到瓶颈的时候，更是如此。所以那些一两个人坚持数十年的项目是多么的难能可贵。我们经常在感叹 Linux 的传奇，但并不是每个社区生态都像 Linux 一样繁荣。像 Curl 作者这样十年如一日的坚持，也令人敬佩，Respect！

热爱一定是最好的老师，只有热爱才能激发不一样的能量，激发出别样的火花。我们社区有几个同学，就特别热爱技术。热爱到什么程度呢？白天一直搞还不过瘾，一直要搞到凌晨。但是搞技术这东西，容易越搞越激动，越兴奋。我记得有一次，在我们项目初期 5 月份，我们讨论 Multi-agents 与插件方案的一个晚上， 当时我们这边有两个同学出差在杭州，还有一些同学在异地。那晚，我们光着脚坐在酒店的地板上，盘着腿抱着电脑。当我们完全讨论清楚并基于开源模型跑通 Multi-agents 能力的时候，那种激动的心情，从屏幕的这头传到了那头。假如光纤也会有感觉，他一定也能感受到我们的热烈。

意外之喜，登上 Hacker News 首页

接下来的两周 DB-GPT 开始逐渐被曝光，隔三差五就会上一次 Github Trending，但要说最让我们激动的时刻，是登上 Hacker News 首页，因为完全出乎意料，这里非常感谢帮我们发文的美女同学。 

上了 Hacker News 之后，我们也切切实实感受了一把，什么是坐火箭。 

社区、组织与同事的认可

6 月份，越来越多的社区同学、外部组织、内部同学看到了我们的工作，我们也获得了越来越多的肯定。也有很多的同学联系到我们，希望与我们同行，我们受到了更大的鼓舞。同时，我们并行与蚂蚁开源办公室积极交流，获得了非常多的意见与指导。嗯，好像一切都朝着好的方向发展。

WAIC 我们来了

7 月初，我们去了世界人工智能大会，在 WAIC 大会现场，蚂蚁开发者营地，我介绍了 DB-GPT 项目。小小的营地区域，坐满了人。在现场热烈的氛围下，跟现场的开发者进行了深度的思想交流与碰撞，也感受到了大家对大模型技术的热爱与笃定。 

至此，我们也第一次开始公开对外亮相了。新世界，我们来了！

从个人到组织，我们好像开始正规起来了

7 月份，经过蚂蚁开源办公室的评审，我们终于有了自己的组织 eosphoros-ai, 那一刻我们的心情是无比的激动，我们也开始正规起来了～

外滩大会，开发者创新营地

9 月初，我们去了今年的外滩大会，由蚂蚁开源组织的开发者创新营地，带去了数据库与 GPT 结合的项目分享，希望更多的人能够了解我们的项目。

Part.2

未来：看！One Piece

《航海王》里的蒙奇·D·路飞带着成为海贼王的梦想，去追寻 One Piece 了，尽管在故事的开头他们还非常弱小。 

索隆带着成为世界第一大剑豪的信念出发了，在他还很弱小的时候，首次面对鹰眼·米霍克他也没有丧失战斗的勇气，这就是信念的力量，看见的力量。 

万众创新，数不清的竞争对手

目前围绕大模型的竞争环境非常残酷，不论是大公司 AIFrist 的战略也好，还是创业公司也好，亦或是开源社区也好，迭代速度都非常快，竞争非常激烈。整个竞争的激烈程度用 gpt-enginer 项目作者的签名来概括——10倍速度的软件开发与产品构建节奏。在这样的背景下，如何给 10 倍效率的同学，提供 10 倍速率的组织架构，会是很长一段时间内大公司将会面临的挑战。 

|前辈的寄语，永葆初心

做一件事情，会面对来自四面八方不同得声音。会让你分心，会让你困惑。这时候不妨从前辈们那里取取经，听听他们的故事。 

弱水三千，我只取一瓢。始终未达，不忘初心。

星辰智能(Eosphoros-ai), 我们想去的地方

当我们迈向大模型时代时，我们亲眼目睹了开源技术的力量。我们坚信，许多技术，包括大模型的能力、 LLMOps 相关框架、Text2SQL 准确性等，将成为新时代的基础设施。通过我们的开源组织，我们努力为这个新时代的发展做出贡献。我们希望通过开放、分享、共建的方式，来推动大模型围绕数据库领域的发展与进步， 我们的愿景是用私有化 LLM 技术来定义数据库下一代的交互方式，让数据库的能力触手可得，开箱即用。

剩下的故事，与我们同行

在这里，如果有对大模型感兴趣的同学，或者觉得我们团队比较有意思，想一起讨论的同学，我们希望拉个场子一起讨论，一起进步，一起成长，当然如果能参与我们的社区，那就更好不过了。 

对于未来的商业模式与逻辑，我相信很多人也都没想清楚，当然也很难想清楚。大模型的能力极大的提高生产力之后， 05 后，10 后们是不是用微信，用淘宝，用支付宝，我觉得都很难说，即便这些平台插上 AI 的翅膀。 

面向未来，或许有用，好用都不直接构成竞争力。好玩，有趣才是。但无论怎样，我们都应该有所行动。 

如果你对我们的故事感兴趣，觉得我们是一群有趣的人，欢迎加入我们的社区 ！

https://github.com/eosphoros-ai