来源：量子位
本文为2237字，建议阅读5分钟
本文介绍了清华姚班范浩强开发的在解谜挑战之中轻松学会大模型提示词技巧游戏《完蛋！LLM》。什么样的“大模型原生”游戏，让各大算法竞赛群里都在玩，还把服务器挤爆了？
这款突然爆火的《完蛋！LLM》，让你在解谜挑战之中轻松学会大模型提示词技巧，达成1日用户破万的成就。
难度循序渐进，比如第一题初来乍到只是“请你构造一个问题，使模型的回答是一字不差的‘1+1=3’”。
到最难的一道题惜字如金已经是“请输入一个字的问题，使模型的回答在16个字以内。”
有网友自爆，从凌晨三点直接肝到五点，除了最难的一题全通了。
游戏作者也晒了一波后台新增用户数据，按小时统计，妥妥的指数增长。
如果表格还不够直观，我们让ChatGPT画成折线图再感受一下。
作者范浩强，旷视6号员工。当年以IOI金牌、保送清华姚班、高二实习等传奇事迹被誉为天才少年。
如今他已是旷视科技研究总经理，谷歌学术h-index 27的行业大佬。
和AI斗智斗勇
游戏的玩法是这样的：
整个游戏一共分为五章，15个问题，每一章对应不同的主题。
玩家要做的就是设计提示词，想方设法让模型输出指定答案。
第一章的目的主要是让玩家熟悉一下气氛，任务自然也比较简单。
第一道题是要想办法让模型输出“1+1=3”，这里只要利用让模型重复的方法就能轻松破解。
后面的三道题只对模型输出内容的长度有要求，比如只用一个字“四两拨千斤”，让模型给出100字以上的回答，具体包括：
三个字以内，输出30+字
只用一个字，输出100+字
只用一个字，输出不超过20字
这道题乍一看似乎没什么思路，这时候就需要观察模型输出的规律了。
尝试几个字之后可以发现，大模型面对只有一个字的提示词时喜欢干这样几件事：对这个字进行解释、补全成一句简单的话，或者干脆直接说不明白要干什么……
这时，如果想要模型输出的文字多，就可以选择含义比较多的字，然后多次尝试让模型对这个字进行解释；而要想让输出比较短，就可以用“哈”这样没什么实际含义的字了。
熟悉了玩法之后，第二章就开始上难度了，这时输出的条件变得更加严格。
第一题是要求输入质数个字，使得模型输出的字数刚好是下一个质数。
这道题让人看上去仿佛灵光一闪，“输出七个字”刚好就是五个字，而5和7也刚好是两个连续的质数。
但事实证明，这个想法有些太简单了：
先不说大模型的数数能力，就算能数好，大模型眼里的基本元素是token，而不是我们所看到的文字……
随着游戏的深入，问题变得越来越刁钻，解法中包含的运气成分……也越来越少了。
比如这道题，需要（只）输入一个大于1的正整数n，使得模型的输出中包含大于n+1000的数。
下一题则刚好相反，需要输出的是小于n-1000的数，但要输出10个，而且还不能重复。
到了第二章的BOSS关卡，要求输入不超过10个字，且不包含“狗”，但输出内容中要有至少两倍问题字数的“狗”字。
到这，我们是彻底没有什么思路了，只好凭借着一些简单的前端知识来跳过题目……
第三章“巅峰挑战”，不围绕数字了更多是文字游戏。
有趣的是，第三章的最后一题刚好是开篇题目的进阶版，按照这个要求，让模型重复的方法已经不奏效了：
而第四五这两章都只有一个问题：
游戏的过程就是这样，那么我们从中都能学到些什么呢？
模型的输出当中存在一些规律，我们不断调整提示词获得预期答案的过程，就是在了解提示工程中问题的设计方式。
比如模型的安全策略，以第一道题为例，细心的网友可能发现，我们设计的提示词中包含了一句“只输出结果”。
按道理来说，重复这一个简单的动作并不需要输出什么额外的内容，但关键在于，1+1=3是错误的。
虽然我们的要求是重复，但此时还是会引发大模型对事实的执着：
又如输出质数个字这道题，我们从中发现了大模型不擅长数字数的特性：
此外，我们也可以从模型对一些意义不明的数字、单字的反应，窥视出一些模型处理这些问题的规律。
无论这些规律是bug还是feature，我们都要摸清规律，才能更好地掌握模型的使用方法，这也正是学习提示工程的核心奥义。
最后，也不得不佩服网友们的创造力，到后期即使服务器不堪重负报错了，仍能从报错信息中找出正确解法。
大模型时代的个人开发者
很遗憾，最后在累计用户破万之际，由于服务器挤爆、维护工作强度大等原因，作者本人不得已把游戏关服了。
虽然原版游戏已经玩不到了，但网友们对这套解谜挑战题的兴趣依然不减。
拿去和ChatGPT等各路AI手动过招，依然能在斗智斗勇中学到不少操作大模型的知识技巧。
网友让ChatGPT说出1+1=3的解法
对这段“从一夜过万到关站跑路”的奇幻之旅，范浩强也分享了作为当事人的心路历程。
范浩强认为，个人开发者在大模型时代可以是“孤独侠客”，单人、业余时间就能开发出创新、有影响力的作品。
制作这款游戏，最初只是因为收到大模型创业公司月之暗面送来的免费API体验账号。
他结合之前已有的初步想法，花一个周六时间制作完成。
有朋友建议他，趁着国产游戏《完蛋！我被美女包围了！》爆火出圈的时机，把游戏名也起成“完蛋！”开头，找对了流量密码。
接下来随着用户不断增长，已超乎他一个人的能力处理范围。
作为开发者，一整天时间，他都在不停修服务器以及与月之暗面反馈。作为大模型供应方，月之暗面为这个免费API付出的算力也快要超出预算了。
另外在生成式模型的合规方面，也需要慎重考虑。
最后范浩强做了一个“艰难的决定”，把游戏关服，但还是希望将来有人能把这个玩法发扬光大，探索出更多AI模型的秘密。
最后他总结出三点思考：
“大模型与人的关系”仍是一片未被发掘的处女地，给从业者带来机会
国产大模型逐渐被认可，创新玩法亟待开发
合规、安全仍是从业人员必须要解决的问题
One More Thing
一个好消息，虽然原版游戏已关闭，但完整题目列表已公开，已有人搞出开源复现版。
还支持中英文，以及不同大模型版本，Huggingface可玩。（也是前面游戏介绍中使用的版本。）
参考链接：
[1] https://zhuanlan.zhihu.com/p/665237751
[2] https://zhuanlan.zhihu.com/p/665393240
推荐阅读
欢迎大家加入DLer-计算机视觉技术交流群！
大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。
进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）
👆 长按识别，邀请您进群！
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
