环境说明
springboot 应用使用dashscope-sdk-java对接阿里百练 deepseek v3模型
问题表现
已经指定了输出json格式,但指令不明确,输出JSON格式的写法如下
注:提示词一开始是能正常功能的,但过了几天就出现了异常,原因是在线大模型在不断的升级与进化
5. 输出内容的模式如下(json格式输出)
com.fasterxml.jackson.core.JsonParseException: Unexpected character ('`' (code 96)): expected a valid value (JSON String, Number, Array, Object or token 'null', 'true' or 'false')
解析响应的数据出现异常:
LLM返回的数据,JSON字符中前后加了```
问题原因
解决方案
1、跟大模型交互的代码做兼容处理,代码层面去掉 ```
2、调整跟大模型的提示词,明确提示输出纯JSON结构,不需要加“戏”
如下为调试成功的效果
目前平台,阿里云百练 deepseek v3模式:
以纯 JSON 格式返回,不要输出 ```json```代码段
注意注意
最终发现优化提示词后,还是会有概率出现```,哈哈!!!
所以还是得自己的业务层代码处理
1、首先判断字段串前后的特殊字符串;
2、处理非法格式的JSON
提供阅读与参考这个文章的方案 大语言模型下的JSON数据格式交互
看来大模型交互返回JSON的处理是个很常见的问题
还有人提到其它的解决方案—换一个数据格式 (LinkedIn 的做法)
https://www.cnblogs.com/ghj1976/p/18329280/linkedin-zen-me-wen-ding-de-rang-llm-fan-hui-jie-g