AI大模型：（二）2.2 分词器Tokenizer

 

系列篇章：

1	1.大模型的发展与局限性
2	1.1 ollama本地快速部署deepseek
3	1.2 linux本地部署deepseek千问蒸馏版+web对话聊天
4	1.3 linux本地部署通义万相2.1+deepseek视频生成
5	1.4 Qwen2.5-Omni全模态大模型部署
6	1.5 Stable Diffusion中文文生图模型部署
7	2.1 从零训练自己的大模型概述
8	2.2 分词器
9	2.3 预训练自己的模型
10	2.4 微调自己的模型
11	2.5 人类对齐训练自己的模型
12	3.1 微调训练详解
13	3.2 Llama-Factory微调训练deepseek-r1实践
14	3.3 transform+LoRA代码微调deepseek实践
15	4.1 文生图（Text-to-Image）模型发展史
16	4.2 文生图GUI训练实践-真人写实生成
17