大模型角色扮演:继续说功能(主动发送消息、连续多次回复)测试

最近在优化大模型的角色扮演能力,尝试通过一个user请求获取多条assistant回复,模拟人类聊天的一个效果,方法就是获取assistant1之后,把assistant1加入上下文再直接发送一次请求,以获得assistant2,甚至继续循环此操作获取更多的回复,测试下来发现多数模型并不支持此操作,它们要求输入的最后一句必须是user类型的消息,支持此操作的模型多数效果也并不好。

最终的结论是效果最好的是4o-mini和mistral,4o-mini不用多说,对于这个任务以及图像识别、Functioncall都支持的很好,又相对较便宜,我很喜欢的一个模型。mistral提供了免费的api服务(但数据会被拿去训练),也没有锁国区的ip,还提供了一个特殊的prefix机制,使模型具有更好的可玩性,也是很推荐的大模型。

minimax模型还没有做测试,因为我看了它的文档之后发现它的参数请求格式针对角色扮演这种任务是有优化的,并不是openai兼容的那一套请求格式,毕竟在星野app中也具有这个功能,效果应该不会差,也是推荐尝试的模型。

下面带上测试过程的截图:

腾讯混元(不支持)

讯飞星火(不支持)

通义千问(支持,但会重复)

月之暗面(偶尔支持,多数情况不支持)

豆包(不支持)

Ollama:qwen2.5:7b(支持,但效果不好)

mistral(一般情况下不支持,但提供了prefix机制,具有很好的可玩性,效果不错)

mistral添加prefix

Grok(支持,但会重复)

gemini(不支持)

Claude(不支持)

gpt-4o-mini(支持,效果不错)

gpt-4o(支持,但生成的第二条回复并没有考虑第一条回复的语境,效果居然不如4o-mini)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值