项目实训2-模型预修改

卑微小亮°

已于 2024-06-17 16:35:32 修改

阅读量813

点赞数 9

文章标签： python

于 2024-05-30 22:20:44 首次发布

本文链接：https://blog.csdn.net/qq_44778250/article/details/139336047

版权

在我们实际部署和设计过程中我们发现了一个更适合于我们本次任务的语言模型，即chatglm2-6b-32k ，并且我们对其与BERT横向比较发现对于我们该模型更方便调参以及部署。因此我们在商量后决定将模型修改为chatglm2-6b-32k 。

ChatGLM2-6B-32K 是一个大规模的预训练语言模型，具体来说，它是 GLM（General Language Model）家族的一部分。GLM 是一种基于 Transformer 架构的语言模型，旨在进行自然语言处理（NLP）任务，例如生成、理解和翻译文本。

ChatGLM2-6B-32K 是一个具有大约 60 亿参数、上下文窗口长度为 32,000 个标记的预训练语言模型，专门用于对话生成任务。
这个模型结合了强大的生成能力和对长上下文的处理能力，使其非常适合于构建高质量的对话系统。

ChatGLM2-6B-32K的核心特点

ChatGLM2-6B-32K 是一个强大的预训练语言模型，专门设计用于对话生成任务。它的核心特点包括以下几点：

大规模参数

参数数量: ChatGLM2-6B-32K 拥有约 60 亿（6B）个参数。

特点: 大规模的参数使得模型具有更强的表达和生成能力，能够捕捉和生成复杂的语言模式和结构。

长上下文窗口

上下文窗口大小: 模型可以处理最长达 32,000 个标记（tokens）的上下文。

特点: 较长的上下文窗口允许模型在生成每个标记时参考更多的上下文信息，这对于处理长文本、保持对话连贯性和理解上下文关系非常重要。

Transformer 架构

架构类型: 基于 Transformer 架构。

特点: Transformer 架构是目前 NLP 领域最流行的模型架构，具有强大的并行计算能力和出色的性能，特别是在处理长距离依赖关系方面。

对话优化

优化目标: 专门针对对话生成任务进行了优化。

特点: 通过专门设计和优化，模型在生成对话时能够更加自然、连贯，并且能够更好地理解用户输入的意图。

多任务学习

能力: 支持多种 NLP 任务，如文本生成、翻译、问答、摘要等。

特点: 多任务学习使模型具有更广泛的应用场景，不仅限于对话生成。

高效训练

训练方法: 使用预训练和微调（Fine-Tuning）策略。

特点: 先进行大规模预训练，再在特定任务上进行微调，使模型具有通用性和专用性兼备的能力。

支持半精度训练

精度: 支持 16-bit 浮点数（FP16）训练。

特点: 使用半精度训练可以显著减少显存占用，加快训练速度，同时在大多数情况下保持模型性能不变。

高效推理

推理性能: 经过优化的推理算法，提高生成速度和效率。

特点: 高效的推理性能使其适用于实时对话系统和其他需要快速响应的应用场景。

开放性和可扩展性

开源: 许多类似模型是开源的，使得研究人员和开发者可以自由使用和改进。

特点: 开放性和可扩展性使得模型可以不断优化和扩展，以适应不断变化的需求和技术进步。

ChatGLM2-6B-32K的优势

强大的生成能力

大规模参数: 拥有 60 亿个参数，使其具备强大的语言生成和理解能力，能够生成高质量、连贯的文本。
丰富的语言表示: 通过大规模的预训练数据，模型能够学习到丰富的语言表示，适用于多种 NLP 任务。

长上下文处理能力

32K 上下文窗口: 支持长达 32,000 个标记的上下文处理能力，使其在处理长文档、保持对话连贯性方面具有显著优势。
复杂对话管理: 能够理解和生成涉及复杂上下文的对话内容，提高对话系统的用户体验。

多任务学习和适应性

多任务支持: 能够处理多种 NLP 任务，如对话生成、文本翻译、问答、摘要等，提高模型的通用性和适应性。
灵活性: 可以通过微调适应特定任务需求，从而在多种应用场景中表现优异。

高效的训练和推理

预训练和微调: 采用预训练和微调相结合的策略，使模型具有广泛的通用性和专门的任务适应性。
FP16 支持: 支持半精度训练和推理，大幅减少显存占用，提升训练和推理速度。

优化的对话性能

对话优化: 专门针对对话生成进行了优化，能够生成自然、连贯的对话内容，理解用户意图，提高互动体验。
用户体验: 在对话系统中表现出色，适用于客服、虚拟助手等应用场景，提供优质的用户交互体验。

开放性和可扩展性

开源: 许多 GLM 系列模型是开源的，研究人员和开发者可以自由使用和改进，促进技术进步和创新。
社区支持: 强大的社区支持和不断更新，使得模型能够不断优化和扩展，适应新的需求和技术变化。

高效的资源利用

计算效率: 采用高效的计算架构和算法，能够在保证性能的前提下，最大限度地利用计算资源。
内存优化: 支持优化的内存管理策略，能够在资源受限的环境中依然表现优异。

现实应用中的表现

实时响应: 在实时对话系统中能够快速响应用户请求，提供及时的帮助和信息。
多语言支持: 具备多语言处理能力，适用于全球化的应用场景，满足不同语言用户的需求。

ChatGLM2-6B-32K的应用场景

智能客服: 能够处理用户的各种咨询，提供准确、连贯的回复，提升客户满意度。
虚拟助手: 支持各种日常任务，如信息查询、日程管理、提醒等，提供便利的用户体验。
内容创作: 自动生成高质量的文本内容，如文章、报告、社交媒体帖子等，帮助创作者提高效率。
教育和培训: 提供交互式的学习支持，如回答问题、提供解释、模拟对话等，增强学习效果。

ChatGLM2-6B-32K的训练过程

ChatGLM2-6B-32K的训练过程包括预训练和微调两个主要阶段，每个阶段都利用了特定的技术和策略来优化模型的性能。以下是对ChatGLM2-6B-32K训练过程的详细解释：

1. 预训练阶段

1.1 数据准备

多样化数据：ChatGLM2-6B-32K的预训练数据来自多个不同的任务和领域，包括自然语言理解、文本生成、机器翻译等。这些数据可以是无标注的文本、双语对照文本、以及特定任务的训练数据。

1.2 预训练任务

ChatGLM2-6B-32K在预训练阶段采用了多任务学习的策略，结合了不同任务的目标，通过不同的注意力掩码机制来实现。

掩码语言模型（Masked Language Model, MLM）：
- 类似于BERT，随机掩盖输入文本中的一部分词，并要求模型根据上下文预测这些被掩盖的词。
- 这种任务有助于模型学习上下文信息，提高语言理解能力。
单向语言模型（Unidirectional Language Model）：
- 类似于GPT，模型只预测当前词前面的词，不考虑后面的词。
- 这种任务主要用于文本生成任务，帮助模型学习从左到右生成文本的能力。
序列到序列（Seq2Seq）任务：
- 使用编码器-解码器架构，编码器处理源句子，解码器生成目标句子。
- 这种任务适用于机器翻译和摘要生成等任务，帮助模型学习源句子和目标句子之间的映射关系。

1.3 注意力掩码机制

ChatGLM2-6B-32K通过不同的注意力掩码策略来适应不同的任务需求：

双向掩码（Bidirectional Mask）：
- 用于MLM任务，模型能够同时利用词语的左侧和右侧上下文信息。
单向掩码（Unidirectional Mask）：
- 用于文本生成任务，模型只能利用词语左侧的上下文信息。
序列到序列掩码（Seq2Seq Mask）：
- 用于Seq2Seq任务，编码器和解码器分别采用不同的掩码策略，编码器使用双向掩码，解码器使用单向掩码，并且解码器还可以访问编码器的输出。