语言模型文本处理技术——Tokenizer

最近，生成式人工智能（Generative AI）领域的最新进展深刻改变了AI辅助应用（AI-assisted applications）中所采用的开发模式。就在五年前，将人工智能集成到应用程序中，除了需要基础技术外，很可能还需要一支计算机科学家团队来设计神经网络架构、训练和精心微调模型。总的来说，要做很多外行人难以理解的工作。但自从不到一年前 ChatGPT 发布以来，语言模型已经变得足够智能，以至于人们只需通过礼貌地询问，就能修改它们的行为（也不一定需要礼貌地询问）。
局限性。其中大部分都或多或少地依赖于应用 LLM 来控制 LLM 的想法（在本系列的后续部分中，我们将更深入地探讨这种情况）。这类工作感觉与传统的软件工程非常不同，有部分原因是它的 empirical nature （译者注：empirical nature应当意思为此类工作方式或方法是基于实际经验和实证数据的，而不是完全基于理论或假设。），部分原因是因为这个领域还十分年轻。

如今，使用人工智能并不一定要求对神经网络、机器学习和自然语言处理等领域有深入的了解，就像从事Web开发并不需要掌握编译器和汇编语言一样。不过，在这两种情况下，对于技术底层运作的了解对我们大有裨益，并且往往是优秀工程师与卓越工程师之间的区别。

目录

01 人工智能模型的本质是一种应用程序

02 文本自动补全系统设计

03 关于单词的定义和处理方式

01 人工智能模型的本质是一种应用程序
很多软件工程师第一次接触生成式人工智能时可能会感到困惑。多年的专业经验使他们对机器的能力有着一定的预期，并且可能会让他们怀疑其中是否存在一些虚假的表象。不管这种情况是好是坏，事实并非如此：每个人