LLM - ChatGLM-6B (General Language Model) 的工程配置

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://blog.csdn.net/caroline_wendy/article/details/131104546

Paper：GLM: General Language Model Pretraining with Autoregressive Blank Infilling

ChatGLM是通用的预训练语言模型（General Language Pretraining Model），基于自回归空格填充（Autoregressive Blank Infilling）的方法，可以兼容三种主流的预训练框架：自回归模型（如GPT）、自编码模型（如BERT）和编码器-解码器模型（如T5）。GLM 通过添加二维位置编码和允许任意顺序预测文本片段，提高了空格填充预训练的效果。同时，GLM可以通过调整空格的数量和长度，来适应不同类型的任务，包括自然语言理解、有条件和无条件的文本生成。GLM在多个任务上都超越了BERT、T5和GPT，展示了其通用性和强大性。

ChatGLM 已经升级到2.0版本 ChatGLM2-6B，相关文章：