本文介绍了在IT技术的自然语言处理中，token作为文本的基本单元，其在英文和中文中的定义。强调了tokenization的重要性，它是将输入文本分解为处理和理解的基础步骤。推荐阅读相关文章深入了解这一过程。
Token 可以被理解为文本中的最小单位。在英文中，一个 token 可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为 token。ChatGPT 将输入文本拆分成一个个 token，使模型能够对其进行处理和理解
在自然语言处理（NLP）中，“token” 是指文本中的一个基本单位，通常可以是一个单词、一个词组、一个标点符号、一个字符等，取决于文本处理的需求和方法。
将文本划分为若干个 token 是文本处理的第一步，这个过程被称为 “tokenization”
https://blog.csdn.net/David_house/article/details/131065079（具体的可以阅读这篇文章）
扫一扫
581
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
