【科普】大模型应用中一个 Token 占多少汉字？答案超乎想象！

先说答案： 不同模型可能采用各自的切分方法，因此，一个 Token 所对应的汉字数量也会有所不同。如腾讯1token≈1.8个汉字，通义千问、千帆大模型等1token=1个汉字，对于英文文本来说，1个token通常对应3至4个字母， 不同的模型对相同的输入分词， 分词结果是不一样的。

同样可以说，一个汉字占约0.5个Token。‌

Token 是大模型中最基础、最常见的概念，它既可以是一个完整的单词，也可以是一个单词的一部分，甚至是标点符号或空格。其翻译方式尚无定论，包括“标记”、“词”、“令牌”等多种说法。复旦大学计算机学院的邱锡鹏教授将其翻译为“词元”，我个人认为这种翻译比较恰当。

众所周知，大语言模型的训练语料数量、上下文的限制、生成速度等都以 Token 作为基本单位进行衡量。在训练过程中，Token 的数量直接影响模型的表现和泛化能力；在推理过程中，上下文中的 Token 数量会限制模型的记忆和理解范围；生成速度则通常通过每秒生成的 Token 数量来衡量。这些指标对于评估和优化大语言模型的性能至关重要。

以下是关于 Token 的一些详细信息：

1. 定义与组成：

• Token：在自然语言处理中，一个 Token 通常指一个有意义的文本片段。大模型在处理文本时，会将输入的句子拆分成一个个 Token。

• 词汇表（Vocabulary）：模型预训练时使用的词汇表包含了所有可能的 Token。这个词汇表是有限的，但通常包含了数万到数十万个 Token。

3. Token化过程：

• 分词（Tokenization）：将输入文本拆分成 Token 的过程称为分词。分词器根据预定义的词汇表和算法，将文本拆解成模型可以理解和处理的最小单元。

• 子词分词（Subword Tokenization）：许多现代大模型使用子词分词技术，如BPE（Byte-Pair Encoding）或WordPiece，这些方法可以将未知的或不常见的单词拆分成更小的子词，从而更有效地处理语言中的多样性。

5. 处理与生成：

• 输入处理：当模型接收到输入文本时，会将其转换成 Token 序列，然后再输入模型进行处理。

• 输出生成：模型生成文本时，会逐步预测下一个 Token，直到生成完所需的完整文本。

7. Token 的作用：

• 理解上下文：通过 Token 化，模型可以更好地理解和生成连贯的文本，因为它能够在单词级别甚至更细粒度的子词级别上进行处理。

• 处理复杂语言结构：Token 允许模型处理复杂的语言结构，包括复合词、多词表达式、缩写等。

举个简单的例子，假设输入文本是 “你好，世界！”，经过 Token 化后，可能会变成类似 [‘你’, ‘好’, ‘，’, ‘世’, ‘界’, ‘！’] 这样的序列。模型会在这个 Token 序列的基础上进行计算和生成新的 Token。

OpenAI官方文档中介绍:“1000个token通常代表750个英文单词或500个汉字。1 个token大约为 4 个字符或 0.75 个单词。”

OpenAI官方的token计算工具 : https://platform.openai.com/tokenizer

国内也有一些工具：

1. 百度文心一言也提供了token计算器来在线计算文心大模型的字符转token数。网址：https://console.bce.baidu.com/support/#/tokenizer

2. 阿里通义千问也有：https://dashscope.console.aliyun.com/tokenizer

所以，一个汉字所占的 Token 数量具体取决于分词器的设计。通常情况下，一个Token平均会占用约 1.5 至 2 个 汉字。 这是因为分词器在处理文本时，会根据预定义的规则和算法，将文本拆分成模型可以理解的最小单元。不同的分词器在处理汉字时可能会有不同的策略，从而影响每个汉字对应的 Token 数量。

目前的各种tokenization技术，涉及到将文本分割成有意义的单元，以捕捉其语义和句法结构，如字级、子字级(例如，使用字节对编码或 WordPiece)或字符级。

根据特定语言和需求场景，每种技术都有自己的优势和权衡。比如Qwen-7B采用UTF-8字节级别的BPE tokenization方式，并依赖OpenAI开源的tiktoken软件包执行分词。

• 字节对编码（BPE）：为AI模型构建子词词汇，用于合并出现频繁的字符/子字对。

• 子词级tokenization：为复杂语言和词汇划分单词。将单词拆分成更小的单元，这对于复杂的语言很重要。

• 单词级tokenization：用于语言处理的基本文本tokenization。每个单词都被用作一个不同的token，它很简单，但受到限制。

• 句子片段：用习得的子词片段分割文本，基于所学子单词片段的分段。

• 分词tokenization：采用不同合并方法的子词单元。

• 字节级tokenization：使用字节级token处理文本多样性，将每个字节视为令牌，这对于多语言任务非常重要。

• 混合tokenization：平衡精细细节和可解释性，结合词级和子词级tokenization。

对于普通用户很难理解Token这个概念， 这个概念是隐藏在模型内部的， 对于普通使用者来说，这种计价方式无疑是致命的， 所以对于大部分普通使用者，还是采用包月方式偏多， Token计价方式针对的是开发者，希望通过API方式进行调用，封装自己的应用。

随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

以上的AI大模型学习资料，都已上传至CSDN，需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。