I 大模型中的 Token，不同模型对 Token 的处理

在进行 AI 大模型应用开发时，很多人接触到的第一个相对陌生的概念，就是 token。但是 token 又是绕不开的名词，token 是大模型输入和输出的计量单位，更重要的，token 也是使用大模型时的计费单位。

token 是大模型对文本进行编码的一种方式。计算机理解的不是文本，而是数值。不管是文本，还是图像和视频，在计算机内部的编码方式都是数值。更具体的来说，是数值的数组，也就是向量。

以文本来说，token 是文本分割的最小单位。不同模型有各自的切分方法。一个 token 可以是一个单词、一个词组、一个标点符号、一个字符。

下面通过几个具体的例子来演示一下，以通义千问和 OpenAI 的 GPT-4o 为例。

首先是简单的句子：This is an apple. 两个模型都把这句话切分成 5 个 token，4 个英文单词和句号，每个都是一个 token。相同单词所对应的 token，内部的 ID 可能不一样。token 的 id 就是 token 的数值表示。

下面是一段更长的文本，是林肯著名的葛底斯堡演讲。通义千问切分成 313 个 token，GPT-4o 切分成 314 个 token。这里比较特别的是，对第一个单词 Fourscore（八十年） 的处理。这一个单词被切分成了3个token，依次是 F，ours 和 core，两个模型都是一样的处理方式。

最后看一下中文的处理。用的例子是西游记开头的诗，通义千问切分成 56 个 token，GPT-4o 切分成 71 个 token。从 token 数量可以看出，同样的 token 数量限制，通义千问可以编码更多的中文字符。

在实际的大模型应用开发中，具体接触到 token 的机会并不多。一个具体的场景是对文本进行切分。这也是检索增强生成应用中的重要一环。对一段文本进行切分时，可以按 token 来进行切分，这样更符合大模型的使用方式。Spring AI 内置提供了 TokenTextSplitter，按照 token 来切分文本。TokenTextSplitter 对文本进行编码时，使用的是 jtokkit 库，编码方式与 OpenAI 的模型兼容。

很多模型服务都提供了 token 化的 API，可以调用 API 来获取 token 化的结果。比如，通义千问就有相关的 API，调用时不收取费用。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。