SillyTavern酒馆使用Gemini1206时出现internal server error错误

SillyTavern酒馆使用Gemini1206模型时,会不定时遇到internal server error错误。经过多次尝试发现大概以下两种原因。

上下文超限

这是google官方文档的解释,当上下文token数量达到3w-4w左右时(可能会浮动),有可能internal server error错误会越来越多,最后无法避免。

判断错误是否由上下文超限引起只需要再重开一个没有上下文的新聊天,如果新聊天不再弹出错误,之前的错误就是由上下文超限引起的。

解决此类的错误只需要控制上下文数量即可,可以在AI响应配置中调整上下文数量到不再报错。 

但是这种调整方式必然会导致AI忘记最早的记忆,那也可以引入新的正则来控制上下文,去掉上下文中不需要的部分。

谷歌流量限制

如果你再开一个新聊天,依然出现internal server error错误,那就是由于谷歌流量限制了。推测gemini服务器对1206模型设置了同时访问的人数上限,当当前使用1206的人数超过此上限时,部分人就会被阻止使用。

据实验,这种人数限制和调用模型的IP没有直接关系,即使是独立的IP也会出现错误。这种流量限制一般出现在工作日的晚十点或者节假日的全天。工作日的白天很少出现。

目前没找到有合适的办法避免掉这种问题,只能错峰使用。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值