史诗级的突破,如何让GPT接口调用能绕过4000 tokens 的长度限制

文章介绍了如何通过将长文本转换为HTML文件,再使用本地静态服务器和ngrok反向代理,使得GPT模型可以处理超过长度限制的内容。这种方法允许动态生成HTML并规避输入输出的约束。
摘要由CSDN通过智能技术生成

最近很高兴有机会较为全面深入地研究GPT / ChatGPT这一热门技术,学到了不少东西,当然也遇到不少问题,其中一个问题就是,所有的GPT模型,都会有输入输出长度(加起来)的限制这个问题,就好像一个紧箍咒似的。

b3dae6d1afa5cde46241d046b285fca5.png

我这段时间看到很多不同的一些办法来想办法绕过这个限制,例如把一个长的prompt拆成多个短的,逐个执行后再拼接起来。虽然有的确实能实现效果,但就是很麻烦。

难道没有更好的办法了么?我倒是实验了如下的这方法,而且确实是可行的。

96593647e940e27160c8c78b9a3e5e83.png

你可能会说,我的内容不是一个网页啊,我是本地的一些文字呢?其实,这又有什么难的呢?你要做的无非是把你的文字,转换为一个网页即可。例如本例我演示一下,我把刚才那个openai的帮助文档保存在本地,形成一个html文件。

6058831f2b6e3b9e10a5809402d6529c.png

这个文件其实是可以直接通过浏览器打开的。

29e8fe82946e1667de760dd1a062c77d.png

那么问题来了,这个文件是肯定不可能被openai 在云端读取到的?怎么办呢?还是很容易,我可以本地把这个文件打开来,并且用反向代理将其发布到公网允许匿名访问。首先,我用了一个静态服务器来把这个网页托管起来。

7891db1c344bc48deea39fd448c43cff.png

然后用ngrok来做反向代理

b682b5733db4d5b4312c0bb25731c96c.png

运行起来后的效果如下

b40917c84089ba6ac3861873fe9c1b81.png

那么接下来你要做的就是,把这个地址给GPT去解析即可。

d29f51b9f4597fbbfc07ae9ac99f564d.png

打完,收工!

请注意,真实场景下,你完全可以动态地生成很多本地的html文件,然后通过这个办法就解决了长度限制的问题了。

  • 0
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 9
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值