自学大语言模型之ChatGLM(一)

注释：在自学大语言模型，虽然在之前有研究过一些自然语言的知识和算法。但是在大语言方面，没有涉及。现在趁着风口，自己更加深入学习一些。在本文中，我将介绍ChatGLM相关的技术和github上开源代码的分析。我主要以思维导图的方式讲解代码，去大致了解每段代码实现什么样的功能。
此外，我的学习的内容较多，博客内容更新较慢，但我会一点点补上以及完善内容，因为他是见证我学习的过程。喜欢看我博客内容的朋友请耐心等待。

ChatGLM

ChatGLM代码的整体结构

ChatGLM的项目整体有10个文件夹和13个文件。其中主要包含模型（model）文件夹、模型并行实用程序接口（mpu）的文件夹、数据处理、训练、微调等主要文件。

请看详细内容

utils.py

train_utils.py

pretrain_glm.py

learning_rates.py

generate_samples.py

finetune_glm.py

configure_data.py

未完待续！