当你在使用ChatGPT写长文章,比如写一篇10万字的连载小时,这时候你会发现在同一个对话内,ChatGPT会失忆,会忘记之上相关的内容。哪导致这个失忆的原因是什么呢?
上下文长度限制!
上下文长度是指LLM在处理一个任务时,能够接收或考虑的输入文本的最大长度。通常用token(词元)来衡量,一个token大致相当于一个英文单词、一个汉字或一个标点符号。不同的LLM可能有不同的上下文长度限制,这取决于它们的模型结构、训练数据和优化方法。
上下文长度限制是一个固定的参数,这意味着在一个给定的对话中,它只能记住或参考一定数量的前面的输入和输出。ChatGPT的上下文最大长度是4096个token,而GPT-4的上下文最大长度分别是8192个token和32768个token,取决于使用的模型版本。Claude则宣布支持了100k个token的上下文最大长度,是目前最大的主流LLM。
在使用ChatGPT撰写长篇连载文章的时候,有一些策略可以帮助你在这个限制内最大化你的输出:
-
精简输入:尽量减少不必要的输入,以节省上下文空间。例如,如果你正在写一篇文章,尽量避免过多的闲聊或无关的问题。
示例:假设你正在写一篇关于全球变暖的文章。你可以直接输入:“请写一篇关于全球变暖的文章,包括其定义、原因、影响和解决方案。”而不是输入一系列不相关的问题或指令,如:“你知道全球变暖吗?我想知道全球变暖的定义。你能告诉我全球变暖的原因吗?等等。”
-
分段写作:如果你的文章超过了上下文长度限制,你可以尝试将其分成几个部分。每次只输入一部分,然后将GPT-4的输出保存下来,然后再