夕小瑶科技说 原创
作者 | 海野
OpenAI上次提到JSON模式的概念,还是在去年的DevDay上。那是ChatGPT第一次拥抱JSON模式。
![baf879a53388ad87f4ac5fae4e432f1c.png](https://img-blog.csdnimg.cn/img_convert/baf879a53388ad87f4ac5fae4e432f1c.png)
但这个功能可以说是饱受诟病。
经常遇到模型不遵循指令,不按照你想要的格式输出,即使在 prompt 中明确说了要按照指定格式(比如Json、XML)返回结果,但是它就是不听话。
因为大语言模型在处理结构化数据时比想象中要困难得多。
很多人说,为什么非要纠结 JSON 格式的输出,我用的挺好的,啥 JSON 格式都没见过,这种要么就是用的不多,要么就不是做开发的!
要知道!对于开发者来说,模型的结构化输出结果是很重要的!比如你想要一些抽取好的关键信息,这时候怎么给你?肯定是结构化的字段信息,简洁明了。比如:
非结构化的结果:
小明今年18岁,是一名高三学生。他身高175cm,体重65kg。小明喜欢打篮球,每周都会和朋友一起打球。他的梦想是成为一名软件工程师。
结构化结果 (JSON格式):
{
"name": "小明",
"age": 18,
"education": {
"grade": "高三",
"status": "在读"
},
"physicalAttributes": {
"height": 175,
"weight": 65
},
"hobbies": ["打篮球"],
"frequency": "每周",
"careerAspiration": "软件工程师"
}
今天,OpenAI就给它的GPT-4o模型翻了个新,升级到2024-08-06版本,并带来了一个全新升级后的功能:
在 API 中引入了结构化输出(Structured Outputs)
模型输出现在可靠地遵循开发人员提供的 JSON 模式。它可以实现输出JSON的100%准确率!
在此之前,开发者一直通过第三方开源工具,或者在 prompt 上面做功夫,让大模型遵循你的命令,再或者反复重试请求来绕过LLMs在结构化处理的缺陷,现在都不需要了。
![37beed5a8f97adbc70b7ab6c39d75129.png](https://img-blog.csdnimg.cn/img_convert/37beed5a8f97adbc70b7ab6c39d75129.png)
具体怎么接入结构化能力呢,有两种办法:
一种是函数调用,在函数定义中设置 strict:true进行结构化输出;
另一种是新增了一个response_format 的参数选项
这是怎么做到的?
第一种方法比较传统,就是最经典的专项培训:对于特定的复杂的JSON架构进行针对性模型训练,Openai通过这种方法能把模型准确率提到93%。 相较于最开始带JSON模式的GPT-4的40%准确率,已经高出很多了。
尽管最新的模型gpt-4o-2024-08-06性能有所提高,但是模型本质上是非确定性的,无法保证JSON的稳定输出,所以采用了确定性的、基于工程的方法来约束模型的输出,以实现 100% 的可靠性。
但很明显,93%的准确率也就意味着7%的不可靠,对于开发人员来说,不是100%的准确就是不够用的,所以OpenAI又用了第二个方法。
而这第二种方法就有点神乎其神。OpenAI使用了约束解码(constrained decoding)技术。
默认情况下,大模型在进行token输出时,可以在词汇表中选择任意一个词汇,作为下一个输出token。而这种不可控性会让模型在输出一些固定格式的文本时犯格式错误。
![c153df6b9429b3218a05082fe9ab45b0.png](https://img-blog.csdnimg.cn/img_convert/c153df6b9429b3218a05082fe9ab45b0.png)
而在使用动态的约束解码技术后,大模型在下一个token输出时,便增加了一些约束,将模型限制在有效的token内,而不是所有token。
比如:输入“{"val”后,下一个生成的文本一定不会是“{”。
通过这种方式,大模型不仅可以实现JSON的格式正确,还可以实现合适schema结构的精确。现在OpenAI已经通过这种方式实现了100%的JSON输出准确率。
这个功能一经亮相,网友们都坐不住了:
![54f3a8d8f5db38b4039c4c8bac31fd12.png](https://img-blog.csdnimg.cn/img_convert/54f3a8d8f5db38b4039c4c8bac31fd12.png)
![097e95c9d0008afe68b4708a35e1003e.png](https://img-blog.csdnimg.cn/img_convert/097e95c9d0008afe68b4708a35e1003e.png)
但这个功能目前还有一些缺陷。因为需要额外增加Schema预处理的时间,新模型在请求新的JSON Schema时慢了一些。此外,要使用结构化输出还有一些限制:
目前结构化仅支持输出一部分JSON模式,包括String、Number、Boolean、Object、Array、Enum和anyOf。
同时,所有的字段或者函数参数必须是“required”。
![45f08393ac6471fedd9eea74b99a4778.png](https://img-blog.csdnimg.cn/img_convert/45f08393ac6471fedd9eea74b99a4778.png)
对象对嵌套深度和大小也有限制。一个架构总共最多可以有 100 个对象属性,最多有 5 个嵌套级别。
OpenAI还留了个底:结构化输出并不能防止所有类型的模型错误。 模型可能仍会在JSON对象的值中犯错误(比如在数学方程式中步骤出错),如果出现错误,需要使用者在指令提示词中提供示例,或者将任务拆分为更简单的子任务。
还有一个重中之重:安全 。结构化输出功能将遵守OpenAI现有的安全政策,并且仍会拒绝不安全的请求。甚至他们在API响应上设置了一个新的字符串值,让开发人员能以编程方式,检测模型是否拒绝生成。
![2a5d7beb6e1d535716b6f9a03f7333ad.png](https://img-blog.csdnimg.cn/img_convert/2a5d7beb6e1d535716b6f9a03f7333ad.png)
OpenAI还真是忘不了安全问题啊。
随着这个新功能的推出,OpenAI还宣布,模型在更新到GPT-4o-2024-08-06后,进行降价处理:
输入tokens降价一半,2.5美元(约合人民币17.96元)/百万个输入tokens;
输出tokens降价1/3,10美元(约合人民币71.84元)/百万个输出tokens。
但随着这个推文出现,评论区网友们也表达了对OpenAI挤牙膏式更新的不满:
一点点技术创新也能叫版本更新吗?
![8fed9c1087ed11a819c4dbbeddfeceeb.png](https://img-blog.csdnimg.cn/img_convert/8fed9c1087ed11a819c4dbbeddfeceeb.png)
实际上,这项功能发布的前一天,OpenAI才刚引起不小的轰动:联创John Schulman提桶跳槽Anthropic;总裁Greg Brockman享受他的超长假期;产品副总裁Peter Deng悄然离职;马斯克也恢复了对OpenAI的起诉,而Sam Altman在OpenAI中的地位甚至尚未稳固。
![dc1b4ca71c5a075c2cd3749fe4cc373c.png](https://img-blog.csdnimg.cn/img_convert/dc1b4ca71c5a075c2cd3749fe4cc373c.png)
也许OpenAI,真的需要制造一个大热门来解决这场宫斗闹剧了。
![5616af12f34b63cd0d4bc470dcb68a6a.png](https://img-blog.csdnimg.cn/img_convert/5616af12f34b63cd0d4bc470dcb68a6a.png)