如何让大模型遵循你的结构化输出指令小技巧

换了工作后，熟悉业务、熟悉人、熟悉环境，每天都是新东西的输入，脑袋都装不下了 😭😭😭，还是蛮累的

给自己打打鸡血，时间都是挤出来的，人嘛，都是逼出来的。

最近看到一些大模型 JSON 格式输出的方法，这里简单说说，说不定有你需要的。

很多人说，为什么非要纠结 JSON 格式的输出，我用的挺好的，啥 JSON 格式都没弄过

上面这种说法的，要不就是用的不深，浅尝辄止

要不就是不是做 AI 开发的，要知道！开发最后的结构化结果是很重要的

比如你想要一些抽取好的关键信息，这时候怎么给你？

肯定是结构化的字段信息，简洁明了

当然，结构化的输出不止 JSON 一种，还有很多。

大家头疼的是，大模型(LLM)有时候不遵循指令，不按照你想要的格式输入，即使你在 prompt 中明确说了要按照 JSON 格式返回结果，但是它就是不听，你能怎么办，总不能不干了吧。

最简单的方式当然就是在 prompt 上面做功夫，让大模型遵循你的命令，成为你的听话的小猫咪 🐱

不要觉得这种很容易，这种结构化大模型输出格式的目前已经成为了很多人的研究课题。

下面的几个方法也不一定面面有效，但是是一种有效的思路，可以试试

输入即输出

按照 JSON 的格式喂给大模型，大模型会按照 JSON 的格式返回

比如一个信息抽取的任务，按照下面JSON格式的 prompt 喂给大模型,task 定义目标，restriction 给出 JSON 的限制，text 是文本输入，format 是定义好的输出 JSON 字段

输出的结果是这样的。

再比如一个query改写(根据对话历史上下文改写当前对话信息)的任务， 也是JSON格式的prompt

输出也是遵循JSON格式的

这种方式就是输入的prompt就直接是结构化的JSON，定义好输出格式的format，给出明确的字段定义。

prompt中明确要求

在prompt中，不仅仅明确按照JSON的格式返回，还要给定JSON的案例

还是上面的信息抽取任务，给定的prompt如下

输出的结果

这种方式就是在提示词的基础之上，别写简单的那种按照JSON的格式给我返回结果，鬼知道能返回什么样的JSON，你要按照你的需求，给定对应返回的JSON案例，信息抽取任务就定义好要抽取那些信息，最好给定字段的解释或者案例。

再多的例子我就不写了，自己试试，任何大模型都可以试试，有badcase评论区反馈下。

还有一个，如果你用的是openAI的API，他们提供了这个参数 response_format ，可以设置为 { "type": "json_object" }

但是这种方式也不一定，最好还是在prompt中按照上面说的加一些输出的格式案例

那问题来了，像上面的写法能100%解决格式输出的问题嘛？

那你真的太小看大模型了

像大规模参数量的大模型还好一些，小规模参数量的大模型不遵循指令的问题相对明显。

有哪些case?

输出的JSON格式多一个少一个括号{}，增加了一些\n空格等特殊字符，回复的内容比如 改写后的内容 + JSON格式结果

还是要做些后处理的。

1、正则表达式处理一些特殊的字符，或者提取返回结果中的JSON片段信息。

2、利用一些第三方库修复JSON badcase, 比如json_repair。

3、调整temperature的参数，调低点，甚至0。

4、重试机制，对无法解决的case进行重新提问，大模型偶尔一时的抽风不代表全部都有问题。

好了，困了，今天就写到这里了。

上面只是一些简单的写法，大模型结果的格式化输出已经是很多人的研究工作了，我后面看到会汇总一下，如果你也有类似的需求，关注下后面的文章吧。

<-End->

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。