山东大学软件学院创新实训VCR系统个人博客

本博客为山东大学软件学院2024创新实训，25组可视化课程知识问答系统（VCR）的个人博客，记载个人任务进展。

第三周：对ChatGLM3进行全面了解

ChatGLM3 使用

1.简述大语言模型ChatGLM3的概况

大语言模型ChatGLM3是由智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。以下是ChatGLM3的概况：

1. 模型特点：
   • 更强大的基础模型：ChatGLM3-6B的基础模型ChatGLM3-6B-Base采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base具有在10B以下的基础模型中最强的性能。
   • 更完整的功能支持：ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外，同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务等复杂场景。
   • 更全面的开源序列：除了对话模型ChatGLM3-6B外，还开源了基础模型ChatGLM3-6B-Base、长文本对话模型ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，并在填写问卷进行登记后允许免费商业使用。
2. 性能优势：
   • 在44个中英文公开数据集测试中，ChatGLM3-6B国内同尺寸模型排名首位，相比ChatGLM2-6B，多个排名提升33%以上，GSM8K基准提升179%。
   • 推理速度方面，相较于目前伯克利大学开源的vLLM，ChatGLM3速度提升2-3倍，推理成本降低一倍。
   • ChatGLM3集成了自研AgentTuning技术，激活模型智能体能力，在智能规划和执行方面比ChatGLM2提升1000%，支持复杂场景如工具调用、代码执行等。
3. 适配与应用：
   • ChatGLM3系列首次增加1.5B、3B这类小参数模型，旨在平衡用户需求和算力成本。
   • 支持国产芯片的边缘侧模型ChatGLM3-1.5B可在笔记本电脑、手机、汽车等场景部署，速度达20 Tokens/s，精度上1.5B和3B模型与ChatGLM2-6B模型性能接近。

综上所述，ChatGLM3作为一款大语言模型，在性能、功能和应用方面均有着显著的优势和特点，为用户提供了更加智能、高效的对话和交互体验。

2.ChatGLM3的原理是什么,和传统的语言模型有什么不同

ChatGLM3的原理主要基于广义线性模型（GLM）和Transformer架构，具体体现在以下几个方面：

1. 原理概述：
   • ChatGLM3通过广义线性模型（GLM）来建模用户的输入和聊天机器人的输出之间的关系。这种模型通过将线性模型与非线性函数相结合，使得模型能够适应更复杂的数据分布。ChatGLM3使用这种方法来预测用户输入的内容，并生成相应的聊天机器人回应。
   • ChatGLM3采用了Transformer架构，这是一个基于自注意力机制的神经网络结构。Transformer架构包括多个编码器和解码器层，每个层都包含多头自注意力机制和前馈神经网络。这种架构使得ChatGLM3能够处理长序列数据，并捕捉文本中的依赖关系。
2. 与传统语言模型的不同点：
   • 多模态理解能力：ChatGLM3是一个多模态预训练语言模型，相较于传统语言模型，它不仅能够处理文本数据，还能够理解和处理图像、音频等多种媒体数据。这使得ChatGLM3在对话体验上更加丰富和立体。
   • 先进的预训练技术：ChatGLM3在大量无标注数据上进行预训练，有效提升了模型对自然语言的理解能力。同时，它还支持多种预训练任务，如文本生成、文本分类、语义匹配等，实现了模型的多任务通用性。
   • 性能优势：ChatGLM3在多个公开数据集测试中表现出色，相较于其他同尺寸模型，其性能排名领先。例如，在GSM8K基准测试中，ChatGLM3的性能提升了179%。
   • 更广泛的应用场景：由于ChatGLM3具有强大的多模态理解能力和先进的预训练技术，它可以应用于更多的场景，如问答、摘要生成、机器翻译等。同时，它还可以通过微调来适应特定领域的问答任务，如医疗、法律和教育等。
3. 总结：
   • ChatGLM3通过广义线性模型和Transformer架构实现了对用户输入的预测和聊天机器人回应的生成。它的多模态理解能力和先进的预训练技术使其相较于传统语言模型在性能和应用场景上具有显著优势。同时，ChatGLM3还支持多种预训练任务，并通过微调来适应特定领域的需求，这使得它在自然语言处理领域具有广泛的应用前景。

3.如何让ChatGLM3更好地学习和记忆

为了让ChatGLM3更好地学习和记忆，可以采取以下几个方面的措施：

1. 准备高质量的数据集：
   • ChatGLM3的学习和记忆能力很大程度上依赖于训练数据的质量和多样性。因此，需要准备包含丰富上下文信息的训练数据集，包括各种场景下的对话文本，以确保模型能够学习到各种情况下的语言模式和知识。
   • 数据集应该包括大量的对话历史，以便模型能够学习到对话的上下文依赖性和用户意图。此外，还可以包括一些特殊场景的数据，如多轮对话、跨领域对话等，以增强模型的泛化能力。
2. 优化模型架构：
   • ChatGLM3采用了Transformer架构，可以进一步对模型进行优化以提升性能。例如，可以尝试使用更深层的网络结构，或者采用更先进的注意力机制来捕捉文本中的长距离依赖关系。
   • 还可以考虑引入一些新的技术，如知识图谱、记忆网络等，以增强模型对知识的记忆和推理能力。这些技术可以帮助模型更好地理解和处理对话中的实体、关系和知识。
3. 训练和优化策略：
   • 在训练过程中，可以采用一些有效的优化策略来提升模型的性能。例如，可以使用学习率衰减、梯度裁剪等技术来防止模型过拟合或梯度爆炸。
   • 还可以采用多阶段训练策略，先使用大规模无标注数据进行预训练，然后使用标注数据进行微调。这种策略可以帮助模型先学习到一些通用的语言知识和模式，然后再针对特定任务进行优化。
4. 记忆更新机制：
   • ChatGLM3的上下文记忆原理主要体现在模型的编码器和解码器中。为了实现更好的记忆效果，可以采用一些记忆更新机制。例如，在每个对话回合结束时，模型可以根据用户反馈和系统输出的效果来更新其记忆内容。这可以通过调整模型参数或更新记忆向量来实现。
   • 还可以考虑引入一些外部知识库或记忆系统来辅助模型的记忆。例如，可以使用知识图谱来存储和检索相关的实体和关系信息，以便在对话中提供更准确的回答和推荐。
5. 评估和调整：
   • 在训练过程中和训练完成后，需要对模型进行充分的评估和调整。可以使用测试数据集来评估模型的性能，并根据评估结果对模型进行调整和优化。
   • 评估指标可以包括准确率、召回率、F1值等常见指标，还可以包括一些与对话相关的特定指标，如对话流畅度、回答相关性等。

综上所述，为了让ChatGLM3更好地学习和记忆，需要准备高质量的数据集、优化模型架构、采用有效的训练和优化策略、引入记忆更新机制以及进行充分的评估和调整。这些措施可以帮助ChatGLM3提升性能并更好地适应各种对话场景。