Openai中的tokens怎么估计

大规模语言模型（LLM）的出现给自然语言处理领域带来了变革的可能性，Openai开放了chatgpt的API，方便了开发人员使用LLM的推理能力，注册时赠送5美元的使用额度，有效期3个月。

如果想便捷的使用chatgpt的API，需要绑定信用卡，这个计费方式是按每1000个tokens计费。

tokens您可以看做是自然语言处理的片段，

对于英文文本来说，一般4个字符，约0.75个单词一个token，

1000个tokens约750英文字符片段。

作为参考，莎士比亚的作品集大约有90万单词或者120万tokens

有兴趣进一步了解token如何工作，

可以尝试 Tokenizer tool：https://platform.openai.com/tokenizer

复制文本粘贴即可显示tokens和characters数

GPT-3.5 Turbo为例，

4K的模型，输入为0.0015$/1k tokens，输出为0.002$/1K tokens

因为模型更新很快，这个计费方式也是变化，请以实际的为标准

 参考文档：Pricing