LLM的浪漫

我们让大模型以数字游民为题写一首诗。

数字游民

ChatGPT
Prompted and edited by 睿类文特

在云端漂泊，游子轻如飞燕，
东京秋雨，巴黎春光，
屏前四季更替，掌间世界轻旋转。

咖啡旁，代码和文字编织未来，
网络中，现实与幻想细缠绵。
会议链接，是穿越时区的桥梁，
Zoom房里，笑谈间日月交替。

自由不仅是无拘，更是心中所系，
世界为家，灵魂自安，心有所属。
星辰大海，每一步皆是归途，
数字游民，虽然繁忙，也自在飞翔。

上面这首“诗”，除了抒情之外，也是我们以手工的方式模拟大模型应用的Self Refine（自我改进）模式的一个小实验。对实验细节感兴趣的朋友，可以往下看看（这部分也许就没那么浪漫了）。

什么是Self-Refine

图：来自于论文Self-Refine: Iterative Refinement with Self-Feedback, Madaan et al. (2023)

在大语言模型推理完成任务的同时，让它给出对执行结果的反馈；再根据反馈，让大语言模型对上次执行的结果进行改进（Refine），再次执行任务并返回结果，给出反馈，如此这般多轮循环。这样，大模型可能会给出更高质量的结果。

我们用ChatGPT，进行了多轮的Self-Refine，过程如下（篇幅所限，略有删节）：

第一轮大模型推理和自我批评

通过提示给出任务：

请写一首诗，描述数字游民自由而又繁忙的生活。

ChatGPT生成结果：

在云端漂泊，游子身轻如燕，

手持光影，世界在掌间旋转。

屏幕如窗，窗外四季更迭，

早春巴黎，暮秋东京的雨点。

咖啡香中，代码流转成诗篇，

网络纤维，编织梦与现实边缘。

会议链接，穿越时区的桥梁，

声音跨海，笑谈间日月潜移。

自由不是无牵无挂，而是选择挂念，

漫游世界，心有归处，灵魂有栖息。

星辰大海，每一处都是故乡，

数字游民，繁忙中寻得自在飞翔。

通过提示让ChatGPT给出反馈：

请你审视这首诗，有没有什么问题？

ChatGPT给出反馈：

整体上构建了一种数字游民生活的浪漫画面，通过细致的景象描绘和情感表达，成功传达了自由与繁忙的生活方式。以下是对诗歌各方面的具体审视：

主题和情感：主题明确，围绕数字游民的自由与繁忙生活展开，情感表达丰富，感受到了数字游民在不同城市间旅行的自由与忙碌。

意象和语言：使用了“云端漂泊”、“屏幕如窗”等现代化的意象，有效地表达了数字游民的生活特点。诗中语言富有画面感，如“手持光影，世界在掌间旋转”形象生动。

结构和韵律：诗歌结构紧凑，每四行为一个小节，韵律感较强，但部分行的节奏略显凌乱，可能需要微调以增强音乐性。

创意和原创性：诗歌在描述数字游民这一现代主题时，展现出独特的视角和新颖的描述方式，充满创意。

可能的改进点：

韵律调整：可以考虑调整某些行的字数或节奏，使得整首诗的韵律更加和谐统一。

语言精炼：某些表达可以更加精炼或富有诗意，例如“会议链接，穿越时区的桥梁”可以探索更具象征意味的表达方式。

整体来看，这首诗很好地表达了主题，具有较强的艺术感染力。

第二轮

提示让ChatGPT改进：

那请你进行韵律调整和语言精练。

ChatGPT再次执行任务：

在云端漂泊，数字游子轻如燕，

光影流转，世界在掌中旋。

屏如望窗，四季更替快捷间，

巴黎之春，东京秋雨添情感。

咖啡香中，编码转译为诗篇，

网线交织，现与梦的边缘。

时区桥梁，会议链接穿梭忙，

声跨大洋，笑语间日月换。

自由非是无拘无束，而在所牵挂，

世界为家，灵魂有处可安放。

星海广阔，处处皆可是故乡，

数字游民，繁忙中仍自在飞翔。

提示让ChatGPT再次反馈

请你再审视你给出的第二稿，还发现有什么需要改进的地方？

ChatGPT的反馈

调整使得诗歌更加流畅和富有节奏感。不过，仍有一些细节可以进一步优化以增强诗歌的整体效果：

韵律匹配：尽管进行了调整，有些行的韵脚仍然不够匹配，影响了诗歌的音乐性。例如，“屏如望窗，四季更替快捷间”，这里的“快捷间”和前面的“望窗”韵脚不是很吻合。

语言的自然流畅度：部分语句为了追求韵律或诗意，牺牲了自然流畅度。例如，“声跨大洋，笑语间日月换”，这句中的“日月换”读起来稍显生硬，可能需要更自然的表达。

表达的准确性与生动性：虽然诗中许多描述都很有创意，但某些表达可能需要更加生动或直接以提升感染力。如“网线交织，现与梦的边缘”，可以进一步增加具体画面或感情色彩，使其更具体象和感染力。

第三轮

要求ChatGPT再执行一次任务：

请你根据以上给出的改进意见再度改进这首诗。

ChatGPT再次完成任务

在云端漂泊，游子身轻如燕，

掌中世界，光影随风轻旋。

屏幕窗前，四季轮换不停歇，

巴黎春光，东京秋雨染情愫。

咖啡旁边，代码交织成诗篇，

梦与现实，在网络里轻缠。

会议跨越，时区桥梁连绵长，

声音飞越，大洋笑语日月换。

自由不只无拘无束，在心所向徘徊，

世界为家，心有所属，灵魂有所依。

星辰大海，处处皆是归途方向，

数字游民，繁忙生活也自由飞翔。

要求LLM再次给出反馈

请问还有什么可以改进的地方？

ChatGPT的反馈

这版诗歌在流畅性和准确性方面有改善。然而，还有一些小的调整可以考虑，以进一步增强诗的美感和深度：

词语的选择和音韵的和谐：某些词语可以更精确或更具诗意。比如“掌中世界”可以调整为更具画面感的描述，如“掌间世界轻旋转”，以增强语言的韵律和意境。

情感表达的深化：虽然已经很好地表达了数字游民的生活方式，但可以更深入地探索和表达他们内心的感受和情感变化。例如，可以加入一些反思或对未来的展望，使诗歌层次更加丰富。

结构的紧凑性：部分句子显冗长，可进一步压缩或重组，以增强语言的力度和直击人心的效果。

增加象征和隐喻：可以通过增加象征性或隐喻性的语言来提升诗歌的艺术层次和深度。如，用“星辰大海”象征未知旅程。

第四轮

要求ChatGPT根据反馈再次执行任务

请根据你的建议对诗进行改写

ChatGPT执行任务的结果

在云端漂泊，游子轻如飞燕，

掌间世界轻旋转，光影随风舞。

屏前四季更替，巴黎春光入画来，

东京秋雨轻敲窗，暖意染心间。

咖啡旁边，代码织就梦与现，

网络中，现实与幻想细缠绵。

会议声跨时区长桥传，

大洋笑语，日月在声中交替。

自由不仅是无拘，更是心中所系，

世界为家，灵魂自安，心有所属。

星辰大海，每一步皆是归途，

数字游民，繁忙生活也自由飞翔，未知探索。

感觉ChatGPT有点江郎才尽了，我们只好停止了进一步的改进。经过少许编辑，把诗放在了文章开头。

实验分析和讨论

ChatGPT所描绘的数字游民的浪漫生活令人向往。

不过，作为验证大模型Self-Refine能力而言，这可能是一个结果不是很令人兴奋的实验：

• 写诗这个场景似乎不是很能量化地展示“Self Refine”所能带来的多轮迭代大模型反馈和推理驱动的系统的性能提升。

• 虽然次轮的结果似乎能够对前轮的结果进行一些改进，但也会丢掉前轮结果中的一些好的部分。

• Self-Refine的作用是让大语言模型发挥它推理能力和生成能力的极限。在我们的实验中，我们能够感受到大模型的能力很快就到达了它的天花板。再增加Self-Refine的轮次并不一定会有正面的效果。

因此，当我们在构建Agent让他们进行多轮的Self-Refine或Reflection的时候，最好可以有量化的停止条件。否则，很难知道什么时候应该停止迭代。

最后，我们还是请ChatGPT为数字游民（Digital Nomad)做了一幅画。