PowerPulse ：Power Energy Chat Model 论文分享（论文标题有所简写）

摘要部分

最近，诸如Chat Generative Pre-trained Transformer（ChatGPT）和Generative Pre-trained Transformer 4（GPT-4）之类的大规模语言模（LLMs）在一般领域表现出了卓越的性能。然而，在特定领域中的不适应性导致了这些LLMs在特定领域背景下的产生幻觉。这个问题引起了广泛关注，现有的以领域为中心的微调工作主要集中在医疗、金融和法律等领域，对于电力能源等关键领域相对未被深入研究。为了填补这一差距，本文引入了一种名为PowerPulse的新型电力能源聊天模型。基于开放高效的基础语言模型（LLaMA）架构构建，PowerPulse专门在中国电力行业领域知识上进行微调。这项工作标志着LLaMA模型在电力能源领域的首次应用。通过利用相关的预训练数据和专为电力能源领域量身定制的微调数据集，PowerPulse模型在文本生成、摘要提取和主题分类等任务中展现出卓越的性能。实验证明了PowerPulse模型的有效性，为特定领域的专业语言模型的进步做出了重要贡献。

Introduction

chatgpt和chatgpt-4 在理解指令和生成类人文本方面取得了显著进步。这些模型在预训练期间利用大量未标记的自然语言数据来学习语法，语义和上下文信息的复杂性。这不仅有助于理解和生成自然语言文本，还增强了模型理解复杂指令和准确响应的能力。随后，通过对特定任务数据集进行微调，LLM为处理复杂的文本理解和生成任务提供了统一的解决方案。

问题

然而，通用LLM并没有明确设计用于特定领域，如电力能源行业，由于在这些专业领域处理文本时缺乏特定领域的知识。这通常会导致幻觉问题，其中生成的结果可能包含不合理或不准确的内容，然而，电力能源领域的知识范围是广泛而复杂的，涵盖了能源结构，机构信息，电力理论，能源研究，电力工程，政策，法规等方面。全面理解和整合所有这些知识对于支持决策、解决问题和预测分析等任务至关重要。因此，将LLM与准确的特定领域专业知识相结合变得非常重要。

模型

本文介绍了一种名为PowerPulse的新型电力能源聊天模型。由于像ChatGPT这样的LLMs并非开源，因此PowerPulse是基于开源的LLaMA框架构建的最初，该模型在中国电力能源领域的400万条高质量文本数据上进行增量预训练，使LLMs能够专攻电力能源领域并深入了解相关知识。此外，为了增强知识获取，设计了一个电力能源领域的知识图谱，为政策咨询和决策等服务提供结构化且可靠的信息支持。最后，创建了一个包含20万条指令数据点的微调数据集，显著提高了模型对各种领域任务的理解能力。通过广泛实验证明，PowerPulse在文本生成、摘要提取和主题分类等任务中表现出色，为更多领域特定语言模型提供了可行的解决方案。

主要工作

1.收集了400万条高质量的中文电力文本数据，提升了LLM对中国电力知识的理解能力
2.创建了一个包含20万个指令数据点的新数据集，用于对LLM进行微调，其中包含大量关于电力能源领域的领域特定知识。
3.提供了用于评估LLMs在电力能源领域指令追踪任务和自然语言理解任务性能的基准。
4.本文的研究资源和成果可以促进电力能源领域的进一步研究和合作，鼓励电力能源机构根据内部数据轻松培训自己的LLM。

相关工作

Bert补充：BERT（Bidirectional Encoder Representations from Transformers）模型中的双向编码器是指模型利用双向的上下文信息来对输入序列进行编码。在传统的语言模型中，通常使用从左到右的单向编码器，即只考虑当前位置之前的上下文信息。而BERT通过使用Transformer中的自注意力机制，使得模型能够同时考虑当前位置之前和之后的上下文信息。

自从Transformer架构出现以来，LLM在NLP领域取得了重大进展。在ChatGPT出现之前，研究人员主要依赖双向编码器预训练模型，如BERT和Roberta，它们在不同领域的一般NLP任务中表现出色。此外，BERT的特定领域变体，如BioBERT，NukeLM，NukeBERT和MatSciBERT，在生物学，能源和金融等领域的自然语言理解相关任务中取得了重要突破。这些特定于领域的LLM在特定领域数据上进行了预训练和微调，有效地捕获了语义和上下文信息，为领域专家提供了强大的NLP工具。

LLMs的进展表明，基于指令的自回归语言模型在性能上超越了前一代的双向编码器预训练模型。特别是，OpenAI的ChatGPT和GPT-4的推出在各个行业引起轰动，导致了对LLMs认知方式的范式转变。
然而，OpenAI并未公开披露ChatGPT的详细训练策略或权重参数，而这些通用的LLMs可能缺乏对特定领域的明确设计，潜在地缺乏对领域特定术语、语言风格、上下文信息和任务需求的适应性。因此，研究人员开始关注训练和应用特定领域的LLMs。这些特定领域的LLMs通过微调在开源社区中可用的LLMs取得了显著的成功。

总结：chatgpt 是一个通用的大语言模型，缺乏针对特定领域的明确设计，很可能在回答问题的时候对特定领域的术语，语言风格，上下文信息的分析和对任务要求的适应产生错误的理解，所以研究人员将注意力转向培训和应用特定领域的LMM，这些模型通过对开源社区中可用得到LLM进行微调取得了重大成功。

在现代社会中，电力和能源领域作为一个基础性行业至关重要，但相关研究相对较为有限。这通常是由于该领域存在大量且复杂的文本数据，涵盖了从能源政策和法规到电力设备维护记录等各种信息。此外，电力能源领域的任务多样，涉及文本生成、理解、分类和对话等任务，而相关的语料库和指令数据集却相对匮乏。尽管面临一系列挑战，但在电力能源领域培训LLMs的前景仍然充满希望。通过进一步优化预训练和微调技术，利用LLMs的指令引导，并结合领域专业知识，可以提高模型在该领域的性能。这将为能源和电力行业带来诸多好处，包括提高能源部门的效率、智能管理电力设备、提供更优质的用户服务体验，以及为电力能源机构基于内部数据培训他们自己的LLMs铺平道路。
总结：提出了LMM在电力能源领域发展的困难以及提出了LMM在电力能源领域的发展还有很大潜力

Low-Rank Adaptation

首先提出了针对特定领域和任务微调LLM的困难点：模型尺寸的增长很可能使得微调模型的所有参数在成本和时间方面都不可行。
先前的解决办法：
1.Adapters：随着模型深度的增加，Adapters引入了额外的推理延迟
2.Prefix-Tuning，在训练上相对较难，并且可能不如直接微调有效。

介绍了低秩自适应（Low-Rank Adaptation，LoRA） LoRA为轻量级微调提供了高效的解决方案，有效逼近全模型参数微调，能够在保持模型性能的同时，用有限的计算资源进行微调。这种方法大大减少了可训练参数的总数，使得用更少的计算资源训练LLMs成为可能。

Aghajanyan等人的研究[33]表明，实际上，学到的超参数化模型存在低内在维度。—— low intrinsic dimension（大型神经网络在大量数据上进行训练时,它会学习到一种可以用较少维度来捕捉数据特征的简单数据表示）在这些研究的启发下，Hu等人[32]提出了低秩自适应（Low-Rank Adaptation，LoRA）。LoRA假设在自适应过程中的权重变化具有低的“内在秩”，使得模型能够通过优化低秩分解矩阵间接地训练神经网络中的一些密集层，同时保持预训练的权重不变。这种方法允许冻结预训练模型权重，并将可训练的低秩分解矩阵注入到模型的每一层中，显著减少了用于下游任务的可训练参数的数量。因此，这降低了计算复杂性和内存需求。LoRA为轻量级微调提供了一种有效的解决方案，并有效地逼近完整模型参数微调，使得在有限的计算资源下进行微调时能够保持模型性能。这种方法大幅减少了可训练参数的总数，使得用更少的计算资源训练LLMs成为可能[4]。

Instruction Learning

指令学习，也称为指令微调，是一种使LLMs能够根据特定指令执行任务的方法。其目标是使LLMs对特定问题或描述性指令做出准确可靠的响应，而不仅仅是对自然语言有一般性的理解。指令学习通常通过指令微调实现，其中在训练过程中，LLMs接收描述性指令或人类请求以在新场景中实现对自然交互的泛化。指令学习的训练过程通常采用监督学习或强化学习方法。在监督学习中[35, 36]，LLMs接收来自指令数据集的示例指令，并根据提供的样本输出进行微调。在强化学习中[34]，LLMs根据环境反馈或奖励信号调整其模型参数，以获得更好的任务执行结果[1]。

总结：介绍了指令学习

指令学习的关键元素包括多样化且代表性的指令数据集，以确保LLMs能够在各种场景中有效执行任务并具备泛化能力。指令数据集应涵盖各种真实世界的问题，并包含多样化的语言风格和表达方式。研究人员已经在一般领域创建了指令数据集，包括一般对话为基础的指令数据集[37, 38, 39]。这些数据集为LLMs的指令微调提供了基础，使模型能够接受指令并执行相应的任务，在一般领域显著提高性能。然而，在特定领域，尤其是在电力和能源等行业，具体领域的指令数据集相对较为稀缺。缺乏可用的领域微调指令数据集，给指令学习的有效应用带来了挑战。因此，需要进一步研究构建具有代表性的指令数据集，以提升LLMs的泛化能力，使其能够智能执行与电力和能源相关的任务，从而提高能源行业的效率并增强用户服务体验。
总结：介绍了指令数据集构建的必要性

Proposed method

base model

本文使用的模型PowerPulse模型基于Xu et al. 提供的Chinese Alpaca Plus 7B Model。

Alpaca Plus 7B模型介绍：该模型基于Meta original LLaMA构建，7B是LLaMA的四个尺寸中最小的一个（7B, 13B, 33B, 65B）,涉及多个LoRA的权重合并过程。为了丰富训练集：Xu et al.首先引入了一个中文词汇表，并继续预训练过程，将LLaMA扩展到120G的通用领域文本和Alpaca扩展到4M的指令数据。特别关注STEM相关数据的整合。随后，中文LLaMA LoRA和中文Alpaca LoRA的模型权重被合并，从而创建了中文Alpaca Plus 7B模型。该模型是一个公开可访问的中文通用LLMs，支持持续训练。

STEM数据：STEM" 是科学（Science）、技术（Technology）、工程（Engineering）和数学（Mathematics）的首字母缩写。

介绍了选择Alpaca Plus 7B模型作为本文PowerPulse模型的原因：

选择中文Alpaca Plus 7B模型作为PowerPulse的基础有两方面的考虑。首先，LLaMA仅包含70亿参数，但在多个自然语言处理基准测试中，与参数远远多于它的模型（如具有1750亿参数的GPT-3[45]）相比，表现出卓越的性能和竞争力。其显著减小的参数规模使得它在成本和时间上更为可行，尤其适合研究实验室或公司的应用。其次，LLaMA的训练集包含大约1.4T的标记，其中大多数是英文[4]。因此，LLaMA在生成中文文本方面存在一定的限制。中文Alpaca Plus 7B模型通过利用中文语料库来扩展其中文词汇，从而解决了这一限制，提升了LLaMA对中文文本的理解和生成能力。总体而言，将中文Alpaca Plus 7B模型作为PowerPulse的基础不仅使训练更加可行和高效，还提升了模型在生成中文内容方面的性能。这些优势的综合使得该模型在电力能源领域的预期应用中成为一种合适的选择。

Power & Energy-based Data

Building a Knowledge Base for Power Energy Domain

1.我们首先收集数据进行增量预训练，目的是在大量特定领域文档的语料库上进行LLM的二次预训练，以注入领域知识。(从多个网站爬取互联网的公共文档，提供了有关电力能源行业政策法规，技术发展和市场趋势丰富信息，从多个电力能源行业专家和机构的WeChat公众号，实时了解政策动态，技术进步，市场趋势，最后从国家发展和改革委，国家能源局，中国电力网等权威公共网站手机了相关新闻，政策文件，公告，保证了数据的全面性和准确性)

2.数据处理部分：首先通过删除HTML标记、提取关键细节和标准化日期和时间格式来清理与策略相关的信息，以便于后续分析。然后，根据政策法规、市场动态、技术研究和企业活动等不同类别对收集的数据进行分类和组织。为进一步分析利用奠定了基础。这一全面而详细的数据收集和处理过程为本文的工作提供了可靠的数据基础。

增量预训练:指在一个已经预训练好的模型基础上，继续对模型进行额外的预训练

Power & Energy Knowledge Graph

作为结构化数据，电力能源知识图谱涵盖了与实体类别和属性相关的数据，包括能源知识、机构知识、电力理论知识、电力设备知识、气象灾害知识和用电知识。此外，还收集了专家研究成果、论文信息和合作状态等专业数据。然而，由于其结构化的性质，这些数据不直接适用于LLMs的增量预训练。受到Self-instruction构造的启发，我们将构建的知识图谱中的实体关系视为关键词，并利用ChatGPT API生成了大量与电力能源行业相关的高质量文本数据。

上述步骤的理解：

通过将构建的知识图谱中的实体关系视为关键词，并利用ChatGPT API生成了大量与电力能源行业相关的高质量文本数据。这种方法可以帮助克服结构化数据不适用于增量预训练的问题，从而为模型提供更多有关电力能源领域的文本数据。

Dataset creation for Instructional Fine-tuning(指导微调数据集的创建)

由于我们需要一组特定于电力能源领域的指令，以微调LLMs以处理该领域内的各种任务，遵循自我指导[44]的方法，生成了电力能源领域的指令数据集。如图3-2所示，对于电力能源环境中的问题回答，数据库是从电力能源行业知识库中精心策划和组织的。该数据库可以随时更新，无需重新训练模型，可以根据不同的能源部门或具体目标进行定制。重点放在文本生成、理解、分类和对话等任务上，旨在满足电力能源行业的基本需求，同时寻求在相关领域任务中提高性能，并为决策和政策研究提供支持。

指令数据集的生成

我的理解是：左边是利用电力能源领域的专业知识，构建一个知识库，其中包含有关能源知识、机构知识、电力理论知识、电力设备知识、气象灾害知识和用电知识的结构化数据。这可以作为模型学习和生成指令的基础。

然后右边是:
借鉴自指令方法，将知识库中的实体关系视为关键词，并使用模型（可能是 ChatGPT 或类似的语言模型）通过自我生成的方式，产生关于电力能源领域的大量高质量文本数据。这些自我生成的文本数据可被视为指令，用于指导模型在该领域的微调。

我的疑问

上述图中，这个指令数据集是根据电力能源领域的知识库进行构建的，虽然数据库可以随时更新，但是数据库更新了模型不是也得重新进行微调吗？

chatPDF回答：
这是因为指令数据集是通过Self-instruct方法生成的，该方法可以根据领域知识库中的数据自动生成指令数据集，而不需要手动标注或重新训练模型。因此，即使知识库更新了，也不需要重新训练模型，只需要使用新的数据集进行微调即可。此外，该方法还可以根据不同的能源部门或具体目标生成不同的指令数据集，以满足不同的需求。

Training of PowerPulse

由Xu等人[42]开源的中国Alpaca Plus 7B模型被用作PowerPulse的基础模型。为进一步增强PowerPulse对电力能源领域术语、语言风格和任务需求的适应性，建立了一个特定领域的知识库160万个互联网文档500多个网站1000个URL地址…政策法规技术动态市场动态…在第3.2节中，由4，329，891篇与电力能源相关的高质量中文文本组成的增量预训练被用于增量预训练。这种增量预培训使PowerPulse能够专注于该领域并获得深刻的知识。

然后，使用 LoRA对仅有700万可训练参数的 PowerPulse 进行微调。微调过程利用了一个包含 20 万条指令的对话数据集，并在 4 * 3090Ti GPU 上进行。在训练过程中使用的超参数如下：批大小为 4，Lion 优化器的学习率为 2e-5，总共进行 5 个轮次（epochs），最大序列长度为 512 个标记，最大目标长度为 200 个标记。

公式(1)是PowerPulse模型中的一个关键公式，用于计算模型的输出。其中，𝑊0是模型的初始参数矩阵，𝑥是输入向量，𝐵和𝐴是可训练的低秩矩阵，𝑟是一个预定义的超参数，表示低秩矩阵的秩，𝑘是输入向量的维度，𝑑是输出向量的维度。

这个公式的含义是，将输入向量𝑥通过初始参数矩阵𝑊0进行线性变换，然后加上一个可训练的低秩矩阵𝐵和一个可训练的低秩矩阵𝐴的乘积，得到模型的输出向量。这个公式的作用是在保留初始参数矩阵的基础上，通过可训练的低秩矩阵对模型进行微调，以提高模型在特定领域的性能。

需要注意的是，这个公式中的加号表示矩阵的加法，而不是向量的加法。具体来说，𝑊0是维度为𝑑×𝑘的矩阵，𝐵是维度为𝑑×𝑟的矩阵，𝐴是维度为𝑟×𝑘的矩阵，因此(𝑊0 + 𝐵𝐴)是一个维度为𝑑×𝑟的矩阵，与输入向量𝑥相乘后得到一个维度为𝑑的输出向量。

在生产环境中部署模型时，可以简单地将初始参数矩阵W0与LoRA参数合并，以获得微调的模型参数：W=（W0 +BA）。LoRA的引入不会引入推理开销，并且推理过程可以以与之前相同的方式进行，而不会引入额外的延迟。具体地说，在微调之前，h的计算是这样完成的：h=W0x，而在微调之后，它变成h=Wx，没有引入额外的延迟。

总之，所提出的LoRA方法通过将参数矩阵△W分解为更小的可训练矩阵来实现PowerPulse模型的有效微调，从而显著减少微调参数的数量。W初始和微调模型参数的无缝合并允许平滑部署，而无需任何推理开销。

Experiments

Experimental Settings

构建了一个名为PowerCorp的数据集，用于评估LLM在电力能源领域的性能。

主要任务包括文本生成，摘要提取和主题分类

文本生成任务：目标是评估模型生成与能源和电力行业相关的文本表达的能力。数据集的这一部分包括从各种电力能源文献来源收集的文本数据，包括不同的语言风格和文本类型。

摘要提取任务：求模型从大量文本中自动提取与能源和电力知识相关的关键信息和要点。这部分数据集包含各种各样的电力能源文档，包括学术论文、新闻报道、政府文件等。

主题分类任务：评估模型是否能够区分和理解不同主题之间的细微差异，展示其在自然语言理解中的表现。（包括的七个标签：能源价格变化、电力供需、电网规划、国际能源合作、能源市场趋势、新电力系统、能源政策报告）

Evaluation Metrics

我们采用可读性度量GFI来衡量文本的可理解性，和ROUGE来评估生成的内容的质量。

Gunning Fog Index (GFI)

是这样一种可读性指标，用于测试书写的可读性。它通常用于确定目标受众是否可以轻松理解文本

参数 α 和 β 是实验中随机初始化的值，分别设置为0.5 和 1，ASL表示一个或者多个完整段落中的平均句子长度，ASL = 单词数量/句子数量, ACW 表示复杂单词占总单词数的比率，在中文语境中，这是由每个句子中的副词和连词的比例决定的。

ROUGE

ROUGE（面向回忆的基础评估）是一种用于评估文本摘要质量的评估指标。它广泛应用于文本生成任务，特别是文本摘要领域。它评估系统生成的摘要和参考摘要之间的相似性。这是通过测量生成的摘要和参考摘要之间的 n 元语法（n 个单词的连续序列）的重叠来实现的。计算公式如下：

这是原文的公式，看不太懂，网上找了一个

其中分母部分计算参考摘要中 n-gram 的个数
分子部分计算参考摘要和自动摘要共有的 n-gram 的个数。

ROUGE-L

LCS(x,y)是 x和y的最长公共子序列（的长度），而l是文本的长度可能是x的也可能是y的图中m表示x的长度，n表示y的长度

Experimental Results

zero Shot 和 1-Shot

Zero-Shot Learning（零样本学习）：是一种能够在没有任何样本的情况下学习新类别的方法。通常情况下，模型只能识别它在训练集中见过的类别。但通过零样本学习，模型能够利用一些辅助信息来进行推理，并推广到从未见过的类别上。这些辅助信息可以是关于类别的语义描述、属性或其他先验知识。

1-Shot Learning（一样本学习）：一次样本学习（One-Shot Learning）是一种只需要一个样本就能学习新类别的方法。这种方法试图通过学习样本之间的相似性来进行分类。例如，当我们只有一张狮子的照片时，一次样本学习可以帮助我们将新的狮子图像正确分类。

介绍了实验基线，并将 PowerPulse 与它们进行比较以评估其性能。

实验

表 4-2 列出了文本生成任务中 PowerPulse 和其他最先进的 LLM 的 GFI 值，在零样本和 1 样本设置下进行评估。 GFI 值用于评估LLM生成的文本的可读性，其中较高的值表示较高的复杂性和较差的可读性。我们的 PowerPulse 模型取得了最佳结果，以粗体表示。第二好的结果带有下划线。因此，在文本生成任务中，我们的PowerPulse表现出了优越的性能。

总之，我们的 PowerPulse 在文本生成任务中表现出了出色的性能，与其他 LLM（包括 LLaMA [8] 和 ChatGLM2 [10]）相比，GFI 值要低得多。同时，Bloomz[46]在该任务中表现相对平均，可能需要进一步提高其跨语言泛化能力。

表 4-3 显示了 PowerPulse 和其他最先进的 LLM 在摘要提取任务中的 ROUGE 值，并在零样本和 1 样本设置下进行了实验。 ROUGE -1、ROUGE -2 和 ROUGE -L 分数分别表示 1-gram、2-gram 和 L-gram 情况的 ROUGE -N 值。

通过观察该表，很明显，与其他LLMs相比，在零次和 1 次设置下，我们的 PowerPulse 取得了显着更高的 ROUGE -1、ROUGE -2 和 ROUGE -L 分数（粗体）。尤其是在ROUGE -1和ROUGE -L评估指标方面，PowerPulse分别达到0.3945和0.3539（Zero-Shot），以及0.2902和0.2373（1-Shot），远远超过其他模型的表现。这表明PowerPulse在摘要提取任务中生成的摘要与参考摘要更加相似，表现出更高的相似性和覆盖率，从而显示出其在摘要生成方面的优越性。

总之，我们的 PowerPulse 在摘要提取任务中表现出显着的优越性，生成的摘要与参考摘要非常相似，具有更高的相似性和覆盖率。

表 4-4 列出了我们的 PowerPulse 和其他最先进的LLM在主题分类任务上的准确度值。通过比较表中的数据，很明显，与其他LLM相比，PowerPulse 取得了显着更高的性能（粗体）。具体来说，PowerPulse 在zero-shot场景下的准确率达到 23.76%，在 1-Shot 场景下的准确率达到 33.64%，大幅优于其他LLM。

PowerPulse 在主题分类任务中的出色表现，明显优于其他LLM。PowerPulse的优越性能归功于其针对电力能源领域的微调，利用相关预训练数据和特定领域的微调数据集，增强了其在电力能源行业相关主题分类方面的性能。

综上所述，PowerPulse在主题分类任务中的优异表现归功于其在现场动力能量方面的专门训练，从而在识别和分类不熟悉的主题方面具有明显的优势。另一方面，其他LLM的表现由于缺乏特定领域的训练数据而受到影响，导致特定领域应用中的表现不佳。这强调了 PowerPulse 作为开发特定领域聊天模型的宝贵参考和模型的重要性。

总结

在本文中，提出了一种名为 PowerPulse 的新型电力能源聊天模型，该模型建立在 LLaMA 架构之上，并根据中国电力行业的特定知识进行了微调。通过综合实验，我们展示了PowerPulse在文本生成、摘要提取和主题分类等任务中的卓越性能。然而，我们承认 PowerPulse 的某些局限性，例如特定领域知识的更新和变化的潜在漏洞。鉴于能源和电力行业政策和技术不断发展的性质，模型微调数据和知识库的持续更新对于确保其持续有效性至关重要。此外，虽然我们的评估很彻底，但我们观察到 PowerPulse 处理多轮对话的能力并未得到充分展示，这主要是由于多轮对话数据集的稀缺。此类数据的可用性有限可能会影响 PowerPulse 处理复杂多轮对话的性能。在实际应用中，多轮对话对于领域问答系统至关重要，因为用户经常需要持续交互和深入讨论。为了应对这些挑战，我们计划通过合并更多特定领域的语料库并使指令微调数据集多样化来进一步增强 PowerPulse。此外，我们的目标是基于以模型为中心的评估和基于人类偏好的评估来评估模型在更多领域任务上的性能。通过不断完善PowerPulse，我们相信它将在电力能源领域发挥举足轻重的作用，满足该专业领域各种任务的需求。