weixin_44716423的博客

原创 深度学习中的token和tokenization

作为一名即将入学的研究生，在这个假期准备看一些论文为自己的科研做准备，结果刚开始就出现了停顿。在论文中出现了名词token，我无法对它做出很好的翻译，导致论文读不下去。网上对它的解释多种多样，经过查阅学习后，我的理解如下。（我阅读的是英文文献，将其完全翻译成中文，并不能很好的帮助阅读，甚至能限制它的意思。所以，用英文解释英文是最好的！）Tokenization is a way of separating a piece pf text into smaller units called tokens.