揭秘iPhone里的Transformer：基于GPT-2架构，分词器含emoji，MIT校友出品

一位名叫Jack Cook的小哥，就把macOS Sonoma beta翻了个底朝天，结果，还真挖出不少新鲜信息

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。

苹果Transformer的“秘密”，让发烧友给扒出来了。

大模型浪潮下，即使保守如苹果，也每逢发布会必提“Transformer”。

比如，在今年的WWDC上，苹果就已宣布，船新版本的iOS和macOS将内置Transformer语言模型，以提供带文本预测功能的输入法。

苹果官方没有透露更多信息，但技术爱好者们可坐不住了。

一位名叫Jack Cook的小哥，就把macOS Sonoma beta翻了个底朝天，结果，还真挖出不少新鲜信息：

• 模型架构上，Cook小哥认为苹果的语言模型更像是基于GPT-2打造的。
• 在分词器（tokenizer）方面，表情符号在其中