目录
给提供了 Token 的计算工具,来理解一下Token的计算方式,网址如下:
窗口如下:
实际消耗 Token 数量为 59个,换算之后为2.1-2.2的比例,即一个汉字消耗2.1·2.2个Token,
再测一下英文的Token消耗,包含空格在内,一共52个英文字母,消耗Token 13个,正好对应13个单词,差不多1:1的测试结果。
一个颜色分段代表一个Token:,对于英文来说,对Token更友好,消耗的Token更少,即使用英语表达,可以节省Token数量。
窗口如下:
实际消耗 Token 数量为 59个,换算之后为2.1-2.2的比例,即一个汉字消耗2.1·2.2个Token,
再测一下英文的Token消耗,包含空格在内,一共52个英文字母,消耗Token 13个,正好对应13个单词,差不多1:1的测试结果。
一个颜色分段代表一个Token:,对于英文来说,对Token更友好,消耗的Token更少,即使用英语表达,可以节省Token数量。