2024大模型面试八股（含100道答案）

AGI大模型老王

于 2024-09-24 20:59:22 发布

阅读量900

点赞数 30

文章标签：面试职场和发展人工智能大模型入门大模型教程 AI大模型大模型学习

本文链接：https://blog.csdn.net/2401_85390073/article/details/142500065

版权

最近秋招正在如火如荼地进行中，看到很多人的简历上都包含大模型相关的工作，各家大厂和初创都很舍得给钱，动辄百万年包也变得不再稀奇。

因此在大模型纵横的这个时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。

本文总结了100道大模型算法岗常见的面试题（含答案），内容如下：

基础篇

1、目前主流的开源模型体系有哪些？

Transformer体系：由Google提出的Transformer 模型及其变体，如BERT、GPT 等。
PyTorch Lightning：一个基于PyTorch的轻量级深度学习框架，用于快速原型设计和实验。
TensorFlow Model Garden：TensorFlow官方提供的一系列预训练模型和模型架构。
Hugging Face Transformers：一个流行的开源库，提供了大量预训练模型和工具，用于NLP 任务。

2、prefix LM 和 causal LM 区别是什么?

prefix LM (前缀语言模型)：在输入序列的开头添加一个可学习的任务相关的前缀，然后使用这个前缀

和输入序列一起生成输出。这种方法可以引导模型生成适应特定任务的输出。

causal LM (因果语言模型)：也称为自回归语言模型，它根据之前生成的 token 预测下一个token。在生成文本时，模型只能根据已经生成的部分生成后续部分，不能访问未来的信息。

3、涌现能力是啥原因?

涌现能力 (Emergent Ability) 是指模型在训练过程中突然表现出的新的、之前未曾预料到的能力。这种现象通常发生在大型模型中，原因是大型模型具有更高的表示能力和更多的参数，可以更好地捕捉数据中的模式和关联。

随着模型规模的增加，它们能够自动学习到更复杂、更抽象的概念和规律，从而展现出涌现能力。

4、大模型LLM的架构介绍?

大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种NLP任务中表现出色。

前馈神经网络 (Feedforward Neural Network) 是一种最基础的神经网络类型，它的信息流动是单向的，从输入层经过一个或多个隐藏层，最终到达输出层。在前馈神经网络中，神经元之间的连接不会形成闭环，这意味着信号在前向传播过程中不会回溯。前馈神经网络的基本组成单元是神经元，每个神经元都会对输入信号进行加权求和，然后通过一个激活函数产生输出。激活函数通常是非线性的，它决定了神经元的输出是否应该被激活，从而允许网络学习复杂和非线性的函数。

前馈神经网络在模式识别、函数逼近、分类、回归等多个领域都有应用。例如，在图像识别任务中，网络的输入层节点可能对应于图像的像素值，而输出层节点可能代表不同类别的概率分布。

训练前馈神经网络通常涉及反向传播 (Backpropagation) 算法，这是一种有效的学习算法，通过计算输出层的误差，并将这些误差信号沿网络反向传播，以调整连接权重。通过多次迭代这个过程，网络可以逐渐学习如何减少输出误差，从而实现对输入数据的正确分类或回归。

在设计和训练前馈神经网络时，需要考虑多个因素，包括网络的层数、每层的神经元数目、激活函数的选择、学习速率、正则化策略等，这些都对网络的性能有重要影响。

5、目前比较受欢迎的开源大模型有哪些?

GPT系列：由OpenAl开发的生成式预训练模型，如 GPT-3。

BERT系列：由Google开发的转换式预训练模型，如BERT、RoBERTa等。

T5系列：由Google开发的基于Transformer的编码器-解码器模型，如T5、mT5等。

6、目前大模型模型结构都有哪些?

Transformer：基于自注意力机制的模型，包括编码器、解码器和编码器-解码器结构。
GPT系列：基于自注意力机制的生成式预训练模型，采用解码器结构。
BERT系列：基于自注意力机制的转换式预训练模型，采用编码器结构。
T5系列：基于Transformer的编码器-解码器模型。

7、prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?

prefix LM：通过在输入序列前添加可学习的任务相关前缀，引导模型生成适应特定任务的输出。优点是可以减少对预训练模型参数的修改，降低过拟合风险；缺点是可能受到前缀表示长度的限制，无法充分捕捉任务相关的信息。

causal LM：根据之前生成的 token预测下一个 token, 可以生成连贯的文本。优点是可以生成灵活的文本，适应各种生成任务；缺点是无法访问未来的信息，可能生成不一致或有误的内容。

encoder-decoder：由编码器和解码器组成，编码器将输入序列编码为固定长度的向量，解码器根据编码器的输出生成输出序列。优点是可以处理输入和输出序列不同长度的任务，如机器翻译；缺点是模型结构较为复杂，训练和推理计算量较大。

8、模型幻觉是什么?业内解决方案是什么?

模型幻觉是指模型在生成文本时产生的不准确、无关或虚构的信息。这通常发生在模型在缺乏足够信息的情况下进行推理或生成时。业内的解决方案包括：

使用更多的数据和更高质量的训练数据来提高模型的泛化和准确性。

引入外部知识源，如知识库或事实检查工具，以提供额外的信息和支持。

强化模型的推理能力和逻辑推理，使其能够更好地处理复杂问题和避免幻觉。

9、大模型的Tokenizer的实现方法及原理?

大模型的Tokenizer通常使用字节对编码 (Byte-Pair Encoding,BPE) 算法。BPE算法通过迭代地将最频繁出现的字节对合并成新的符号，来构建一个词汇表。在训练过程中，模型会学习这些符号的嵌入表示。Tokenizer将输入文本分割成符号序列，然后将其转换为模型可以处理的数字表示。

这种方法可以有效地处理大量文本数据，并减少词汇表的规模。

10、ChatGLM3的词表实现方法?

ChatGLM3 使用了一种改进的词表实现方法。它首先使用字节对编码 (BPE) 算法构建一个基本的词表，然后在训练过程中通过不断更新词表来引入新的词汇。具体来说，ChatGLM3 在训练过程中会根据输入数据动态地合并出现频率较高的字节对，从而形成新的词汇。这样可以有效地处理大量文本数据，并减少词汇表的规模。

同时，ChatGLM3 还使用了一种特殊的词表分割方法，将词表分为多个片段，并在训练过程中逐步更新这些片段，以提高模型的泛化能力和适应性。

在这里插入图片描述

11、GPT3、LLAMA、ChatGLM 的 Layer Normalization 的区别是什么?各自的优缺点是什么?

GPT3：采用了Post-Layer Normalization (后标准化)的结构，即先进行自注意力或前馈神经网络的计算，然后进行Layer Normalization。这种结构有助于稳定训练过程，提高模型性能。

LLAMA：采用了Pre-Layer Normalization (前标准化)的结构，即先进行Layer Normalization,然后进行自注意力或前馈神经网络的计算。这种结构有助于提高模型的泛化能力和鲁棒性。

ChatGLM：采用了Post-Layer Normalization的结构，类似于GPT3。这种结构可以提高模型的性能和稳定性。

12、大模型常用的激活函数有哪些？

ReLU（Rectified Linear Unit）：一种简单的激活函数，可以解决梯度消失问题，加快训练速度。

GeLU（Gaussian Error Linear Unit）：一种改进的ReLU函数，可以提供更好的性能和泛化能力。

Swish：一种自门控激活函数，可以提供非线性变换，并具有平滑和非单调的特性。

13、多查询注意力与群查询注意力是否了解?区别是什么?

Multi-query Attention 和 Grouped-query Attention 是两种不同的注意力机制变种，用于改进和扩展传统的自注意力机制。Multi-query Attention：在Multi-query Attention中，每个查询可以与多个键值对进行交互，从而捕捉更多的上下文信息。这种机制可以提高模型的表达能力和性能，特别是在处理长序列或复杂关系时。

Grouped-query Attention：在Grouped-query Attention中，查询被分成多个组，每个组内的查询与对应的键值对进行交互。这种机制可以减少计算复杂度，提高效率，同时仍然保持较好的性能。

14、多模态大模型是否有接触?落地案例?

多模态大模型是指可以处理和理解多种模态数据（如文本、图像、声音等）的模型。落地案例，例如：

OpenAI的DALL-E和GPT-3：DALL-E是一个可以生成图像的模型，而GPT-3可以处理和理解文本。两者结合可以实现基于文本描述生成图像的功能。

Google的Multimodal Transformer：这是一个可以同时处理文本和图像的模型，用于各种多模态任务，如图像字幕生成、视觉问答等。

进阶篇

1、llama输入句子长度理论上可以无限长吗?

LLaMA（Large Language Model Adaptation）模型的输入句子长度受到硬件资源和模型设计的限制。

理论上，如果硬件资源足够，模型可以处理非常长的输入句子。然而，实际上，由于内存和处理能力的限制，输入句子长度通常是有限制的。在实际应用中，开发者会根据具体需求和硬件配置来确定合适的输入句子长度。

2、什么是LLMs复读机问题?

LLMs复读机问题是指在某些情况下，大型语言模型在生成文本时会重复之前已经生成的内容，导致生成的文本缺乏多样性和创造性。

3、为什么会出现LLMs复读机问题?

LLMs复读机问题可能由多种因素引起，包括模型训练数据中的重复模式、模型在处理长序列时的注意力机制失效、或者模型在生成文本时对过去信息的过度依赖等。

4、如何缓解LLMs复读机问题?

数据增强：通过增加训练数据的多样性和复杂性，减少重复模式的出现。

模型改进：改进模型的结构和注意力机制，使其更好地处理长序列和避免过度依赖过去信息。

生成策略：在生成文本时采用多样化的策略，如抽样生成或引入随机性，以增加生成文本的多样性。

5、什么情况用Bert模型，什么情况用LLaMA、ChatGLM类大模型?

BERT模型通常用于需要理解文本深层语义的任务，如文本分类、命名实体识别等。

LLaMA和 ChatGLM类大模型则适用于需要生成文本或进行更复杂语言理解的任务，如对话系统、文本生成等。选择哪种模型取决于任务的需求和可用资源。

6、各个专业领域是否需要各自的大模型来服务?

不同的专业领域需要特定的大模型来更好地服务。专业领域的大模型可以针对特定领域的语言和知识进行优化，提供更准确和相关的回答和生成文本。=

7、如何让大模型处理更长的文本?

使用模型架构，如Transformer, 它可以有效地处理长序列。
使用内存机制，如外部记忆或缓存，来存储和检索长文本中的信息。
使用分块方法，将长文本分割成更小的部分，然后分别处理这些部分。
大模型参数微调、训练、推理

8、如果想要在某个模型基础上做全参数微调，究竟需要多少显存?

全参数微调 (Full Fine-Tuning) 通常需要大量的显存，因为这种方法涉及到更新模型的所有参数。

显存的需求取决于模型的规模、批量大小、以及使用的硬件。例如，对于大型模型如GPT- 3,可能需要多个GPU甚至TPU来分配显存，每个GPU或TPU可能需要几十GB的显存。在实际操作中，需要进行试错法来确定合适的批量大小和硬件配置。

9、为什么SFT之后感觉LLM傻了?

SFT（Supervised Fine-Tuning）之后感觉LLM（Large Language Model）“傻了”，可能是因为微调过程中出现了以下问题：

过拟合：模型可能过度适应训练数据，导致在新数据上的泛化能力下降。
数据质量：如果训练数据质量不高，模型可能学到了错误的模式或偏见。
微调强度：微调的强度可能不够，导致模型没有充分适应新的任务。在这种情况下，模型可能没有学习到足够的特定领域的知识，因此在执行相关任务时表现不佳。

10、SFT指令微调数据如何构建?

收集或生成与特定任务相关的指令和数据对，其中指令是描述任务或要求的文本，数据是对应的输入输出示例。
清洗和预处理数据，以确保数据的质量和一致性。
根据任务需求，对数据进行增强，如使用数据增强技术生成更多的训练样本。
将数据格式化为模型训练所需的格式，例如，对于语言模型，通常需要将文本转化为模型可以理解的数字编码。

11、领域模型Continue PreTrain数据选取?

领域模型继续预训练（Continue Pre-Training）的数据选取应该基于领域内的文本特点和应用需求。通常，需要选取大量、高质量、多样化的领域文本数据。数据可以来自专业文献、行业报告、在线论坛、新闻文章等。数据选取时应该注意避免偏见和不平衡，确保数据能够全面地代表领域内的知识和语言使用。

12、领域数据训练后，通用能力往往会有所下降，如何缓解模型遗忘通用能力?

多任务学习：在训练过程中同时包含领域内和通用的任务，使模型能够同时学习领域特定的和通用的知识。
控制微调强度：通过调整微调的学习率或训练轮数来控制模型对领域数据的适应程度。
定期回炉：在领域数据训练后，定期使用通用数据进行回炉训练，以保持模型的通用能力。
知识蒸馏：使用一个预训练的通用模型来指导领域模型，帮助模型保持通用知识。

13、领域模型Continue PreTrain，如何让模型在预训练过程中就学习到更多的知识?

数据增强：使用数据增强技术如回译、掩码语言模型等来生成更多的训练样本。
知识注入：将领域特定的知识以文本、结构化数据或知识图谱的形式注入到预训练过程中。
多模态学习：如果适用，可以使用多模态数据(如文本和图像)进行预训练，以丰富模型的知识表示。

14、进行SFT操作的时候，基座模型选用Chat还是Base?

在进行指令微调 (SFT) 操作时，选择基座模型 (Chat或Base) 取决于具体任务的需求和模型的性能。通常，如果任务需要生成对话或交互式响应，可以选择对话优化的模型 (Chat)。如果任务更注重理解和生成文本的能力，可以选择基础模型 (Base)。

在实际应用中，可能需要根据实验结果和模型性能来选择最合适的基座模型。

15、领域模型微调指令&数据输入格式要求?

领域模型微调的指令和数据输入格式要求取决于所使用的模型和框架。一般来说，指令应该是清晰、具体的，能够指导模型完成特定的任务。数据输入格式通常需要与模型的输入接口相匹配，例如，对于文本模型，数据通常需要是字符串格式，并且可能需要经过特定的预处理，如分词、编码等。

16、领域模型微调领域评测集构建?

构建领域模型微调的领域评测集时，应该确保评测集能够全面、准确地反映领域内的任务需求和性能指标。通常，需要从领域内的真实数据中收集或生成评测样本，并确保样本的多样性和代表性。此外，可以根据任务需求设计定制的评价指标，以评估模型在领域内的性能。

17、领域模型词表扩增是不是有必要的?

领域模型词表扩增通常是有必要的，尤其是当领域内有大量的专业术语或特定词汇时。词表扩增可以帮助模型更好地理解和生成领域内的文本，提高模型的领域适应性。然而，词表扩增也需要谨慎进行，以避免引入过多的噪音或不相关的词汇。

18、如何训练自己的大模型?

选择合适的预训练目标和任务：确定模型将学习哪些通用的语言知识，以及针对哪些特定任务进行优化。
收集和准备数据：收集大量、多样化的数据，包括通用数据和特定领域的数据，进行清洗和预处理。
选择模型架构：选择一个适合的模型架构，如Transformer, 并确定模型的规模和层数。
定义训练流程：设置训练参数，如学习率、批量大小、训练轮数等，并选择合适的优化器和损失函数。
训练模型：使用准备好的数据和训练流程开始训练模型，监控训练过程中的性能和资源使用。
评估和调优：在训练过程中定期评估模型的性能，并根据需要调整训练参数和模型架构。
微调和优化：在模型达到一定的性能后，进行微调以适应特定的应用场景和任务需求。

19、训练中文大模型有啥经验?

使用大量高质量的中文数据，包括文本、对话、新闻、社交媒体帖子等。

考虑语言的特点，如词序、语法结构、多义性等，并设计相应的预训练任务。

使用适合中文的语言模型架构，如BERT 或GPT, 并进行适当的调整以优化性能。

考虑中文的特殊字符和标点，确保模型能够正确处理这些字符。

进行多任务学习，同时训练多个相关任务，以提高模型的泛化能力。

20、指令微调的好处?

提高模型在特定任务上的性能，使其能够更好地理解和执行指令。

通过指令和示例数据的结合，使模型能够学习到更具体、更实用的知识。

减少了模型对大规模标注数据的依赖，通过少量的指令和示例数据就能进行有效的微调。

可以通过不同的指令和示例数据组合，快速适应不同的任务和应用场景。

21、预训练和微调哪个阶段注入知识的?

在预训练阶段，模型通过大量的无监督数据学习通用的语言知识和模式。在微调阶段，模型通过与特定任务相关的监督数据学习特定领域的知识和任务特定的模式。因此，知识注入主要发生在微调阶段。

22、想让模型学习某领域或行业知识，是应该预训练还是应该微调?

为了让模型学习某个领域或行业的知识，通常建议先进行预训练，以学习通用的语言知识和模式。预训练可以帮助模型建立强大的语言表示，并提高模型的泛化能力。

然后，可以通过微调来注入特定领域或行业的知识，使模型能够更好地适应特定的任务和应用场景。

23、多轮对话任务如何微调模型?

收集多轮对话数据，包括用户查询、系统回复、以及可能的中间交互。对数据进行预处理，如分词、编码等，使其适合模型输入格式。
设计多轮对话的微调目标，如序列到序列学习、生成式对话等。
微调模型，使其能够生成连贯、自然的对话回复，并考虑到对话上下文和用户意图。

24、微调后的模型出现能力劣化，灾难性遗忘是怎么回事?

微调后的模型出现能力劣化，灾难性遗忘可能是因为模型在微调过程中学习到了过多的特定任务的知识，而忽略了通用的语言知识。这可能导致模型在训练数据上表现良好，但在未见过的数据上表现不佳。

为了解决这个问题，可以采取一些措施，如多任务学习、控制微调强度、定期使用通用数据进行回炉训练等。

25、微调模型需要多大显存?

微调模型需要的显存取决于模型的规模、任务复杂度、数据量等因素。一般来说，微调模型需要的显存通常比预训练模型少，因为微调涉及到更新的参数较少。然而，具体需要的显存仍然需要根据实际情况进行评估和调整。

26、大模型LLM进行SFT操作的时候在学习什么?

特定领域的语言模式和知识，包括专业术语、行业特定用语等。
针对特定任务的生成策略和响应模式。
对话上下文中的连贯性和逻辑性，对于多轮对话任务尤其重要。
指令理解和执行能力，使模型能够更准确地理解和执行用户的指令。

27、预训练和SFT操作有什么不同?

预训练和SFT操作的主要区别在于目标和数据集。预训练通常是在大规模的无标签数据集上进行的，目的是让模型学习到通用的语言表示和模式。这个过程不需要人工标注数据，而是通过模型自己从数据中学习。

SFT则是在有标签的数据集上进行的，目的是让模型适应特定的任务或领域。这个过程需要人工标注数据，以确保模型能够学习到正确的任务特定的模式和知识。

28、样本量规模增大，训练出现OOM报错，怎么解决?

当样本量规模增大时，训练出现OOM (Out of Memory) 错误可能是由于显存不足导致的。为了解决这个问题，可以尝试以下方法：

增加训练设备的显存，如使用更高性能的GPU或增加GPU数量。

调整批量大小，减少每次训练时处理的样本数量。

使用模型并行或数据并行技术，将模型或数据分片到多个设备上进行训练。

使用动态批处理，根据可用显存动态调整批量大小。

29、大模型LLM进行SFT如何对样本进行优化?

数据增强：通过对原始数据进行转换，如文本回译、添加噪声等，生成更多的训练样本。样本选择：选择与特定任务最相关的样本进行训练，以提高训练效率和性能。

样本权重：根据样本的难易程度或重要性为样本分配不同的权重，以优化训练过程。

平衡采样：在训练过程中，确保每个类别或子任务都有足够的样本被训练到。

30、模型参数迭代实验步骤?

模型参数迭代实验是指在训练过程中，对模型的参数进行迭代调整和优化，以提高模型的性能。这通常涉及以下步骤：

选择一组初始参数。
在训练过程中，定期评估模型的性能。
根据评估结果，调整模型的参数，如学习率、批量大小、正则化参数等。
重复评估和调整参数，直到模型的性能达到预期的目标。

31、为什么需要进行参选微调?参数微调的原因有哪些?

参数微调是指只对模型的一部分参数进行更新，以适应特定的任务或领域。进行参数微调的原因包括：

提高计算效率：参数微调通常比全量微调需要更少的计算资源，因为只有部分参数需要更新。

减少过拟合风险：只更新与特定任务相关的参数，可以减少模型对训练数据的过度依赖，降低过拟合的风险。

提高泛化能力：参数微调可以使模型在保持通用语言能力的同时，适应特定的任务需求。

32、模型参数微调的方式有那些?你最常用哪些方法?

权重共享：在模型中，将部分参数设置为共享，这些参数同时用于多个任务或领域。
参数掩码：在模型中，将部分参数设置为不可训练，这些参数保持预训练时的值不变。
参数分解：将大型的参数矩阵分解为多个小型矩阵，只更新其中的部分矩阵。
参数共享微调：在模型中，将部分参数设置为共享，这些参数用于多个相关任务。

33、prompt tuning 和 prefix tuning在微调上的区别是什么?

Prompt Tuning和Prefix Tuning都是参数高效的微调方法，它们通过在模型输入中添加特定的提示或前缀来引导模型生成适应特定任务的输出。区别在于：

Prompt Tuning：在输入序列的末尾添加可学习的提示，提示可以是几个单词或短语，用于指导模型生成特定的输出。

Prefix Tuning：在输入序列的开头添加可学习的连续前缀表示，前缀表示包含了任务特定的信息，用于引导模型生成适应特定任务的输出。

34、LLaMA-adapter 如何实现稳定训练?

LLaMA-adapter 是一种参数高效的微调方法，它通过在预训练模型的每个Transformer层中添加小型适配器模块来实现特定任务的适应。为了实现稳定训练，可以采取以下措施：适配器初始化：使用预训练模型的参数作为适配器模块的初始化，以保持模型的稳定性。

适配器正则化：使用正则化技术，如权重衰减或dropout, 来减少适配器模块的过拟合风险。

逐步学习：逐步调整适配器模块的参数，避免参数更新的幅度过大。

适配器优化：选择合适的优化器和训练策略，如使用较小的学习率、较长的训练周期等，以实现稳定的训练过程。

35、LoRA原理与使用技巧有那些?

LoRA（Low-Rank Adaptation）是一种参数高效的微调方法，它通过引入低秩分解来减少需要更新的参数数量。LoRA 的工作原理是将预训练模型的注意力矩阵或前馈网络矩阵分解为两个低秩矩阵的乘积，其中这两个低秩矩阵被视为可学习的任务特定参数。

使用LoRA的技巧包括：

适配器初始化：使用预训练模型的参数作为LoRA适配器模块的初始化，以保持模型的稳定性。
低秩分解：选择合适的低秩分解方法，如奇异值分解 (SVD) 或随机矩阵分解，以实现低秩分解。
逐步学习：逐步调整LoRA适配器模块的参数，避免参数更新的幅度过大。
适配器正则化：使用正则化技术，如权重衰减或dropout, 来减少LoRA适配器模块的过拟合风险。

35、LoRA微调优点是什么?

参数高效：LoRA只更新少量的低秩矩阵，相比全量微调，可以显著减少需要更新的参数数量。
计算效率：由于只更新少量的低秩矩阵，LoRA可以减少计算资源的需求，提高训练和推理的效率。
模型稳定性： LoRA适配器模块可以保持预训练模型的稳定性，减少过拟合风险。
性能提升：LoRA 微调可以在不牺牲太多性能的情况下实现参数高效的微调。

36、AdaLoRA的思路是怎么样的?

AdaLoRA是一种自适应的LoRA方法，它可以根据任务的需求和模型的性能动态调整LoRA适配器模块的参数。AdaLoRA的思路是：

初始化LoRA适配器模块的参数，使用预训练模型的参数作为初始化。

在训练过程中，根据模型的性能和任务需求，动态调整LoRA适配器模块的参数。

通过调整LoRA适配器模块的参数，使模型能够更好地适应特定的任务需求。

37、LoRA权重合入chatglm模型的方法?

在chatGLM 模型的每个Transformer层中添加LoRA 适配器模块。

使用预训练模型的参数作为LoRA 适配器模块的初始化。

在训练过程中，更新LoRA 适配器模块的参数，以适应特定的任务需求。

保持预训练模型的参数不变，避免对预训练模型产生负面影响。

38、P-tuning 讲一下?与P-tuning v2区别在哪里?优点与缺点?

P-tuning是一种参数高效的微调方法，它通过在模型输入中添加可学习的连续前缀来引导模型生成适应特定任务的输出。P-tuning v2是P-tuning的改进版本，它使用了更多的连续前缀表示来引导模型生成适应特定任务的输出。

P-tuning与P-tuning v2的区别在于：

P-tuning：在输入序列的开头添加一个可学习的连续前缀，前缀的长度较短。
P-tuning v2：在输入序列的开头添加多个可学习的连续前缀，前缀的长度较长。

P-tuning的优点是参数高效，计算资源需求较低，可以快速实现模型微调。P-tuning的缺点是可能受到前缀表示长度的限制，无法充分捕捉任务相关的信息。P-tuning v2通过使用更多的连续前缀，可以更充分地捕捉任务相关的信息，但可能需要更多的计算资源来更新多个前缀的参数。

39、预训练和SFT操作有什么不同?

40、训练一个通用大模型的流程有那些?

数据收集：收集大量的、多样化的、无标签的文本数据。
数据预处理：对收集的数据进行清洗、分词、编码等预处理步骤。
模型设计：选择合适的模型架构，如Transformer,并确定模型的规模和层数。预训练目标：设计预训练任务，如语言建模、掩码语言模型、句子对齐等。
训练模型：使用预训练数据集和预训练目标开始训练模型。
评估性能：在预训练过程中定期评估模型的性能，并根据需要调整训练参数。
微调和优化：在预训练完成后，使用有标签的数据集进行微调，以适应特定的任务或领域。

41、DDO 与 DPO 的区别是什么?

DDO（Dual Data Objectives）和DPO（Dual Prompt Objectives）是两种不同的训练策略，用于提高大型语言模型的性能。

DDO: 在训练过程中，同时优化两个数据集的目标，一个是通用数据集，另一个是特定领域数据集。这样可以让模型同时学习通用知识和特定领域的知识，提高模型的泛化能力和领域适应性。
DPO: 在训练过程中，同时使用两个提示 (prompt), 一个是通用提示，另一个是特定领域提示。这样可以让模型在执行任务时，同时利用通用知识和特定领域的知识，提高模型在特定任务上的性能。

42、是否接触过 embeding 模型的微调方法?

嵌入模型微调通常涉及调整模型中的嵌入层，以适应特定的任务或领域。这可能包括：初始化：使用特定领域的数据来初始化嵌入层，以便更好地捕捉领域特定的信息。

调整：通过训练或优化嵌入层的参数，使其能够适应特定任务或领域的需求。

知识注入：将领域特定的知识以向量的形式注入到嵌入层中，以增强模型对领域知识的理解和应用。

43、有哪些省内存的大语言模型训练/微调/推理方法?

模型剪枝：通过移除模型中的冗余结构和参数，减少模型的内存占用。
知识蒸馏：使用一个大型教师模型来指导一个小型学生模型，使学生模型能够学习到教师模型的知识，同时减少内存占用。
量化：将模型的权重和激活从浮点数转换为低精度整数，减少模型的内存占用和计算需求。
模型并行：将大型模型分割到多个设备上进行训练和推理，减少单个设备的内存需求。
数据并行：将训练数据分割到多个设备上，每个设备训练模型的一个副本，减少单个设备的内存需求。
动态批处理：根据可用内存动态调整批量大小，以适应内存限制。

44、大模型 (LLMs) 评测有那些方法?如何衡量大模型的效果?

大模型 (LLMs) 的评测方法通常包括：

准确性：评估模型在特定任务上的预测准确性。
泛化能力：评估模型在未见过的数据上的表现。
计算效率：评估模型训练和推理的速度和资源需求。
安全性：评估模型在对抗性输入下的稳定性和鲁棒性。
多样性和创造性：评估模型生成文本的多样性和创造性。
人类评估：通过人工评估来衡量模型的性能，特别是在对话和生成任务中。

衡量大模型效果的方法包括：

自动评估指标：使用如BLEU 、ROUGE 、METEOR等自动评估指标来衡量模型的语言生成和理解能力。
任务特定的指标：使用任务特定的指标来衡量模型在特定任务上的性能，如准确率、F1分数等。
用户反馈：收集用户对模型生成内容的反馈，以评估模型的实际应用效果。

45、如何解决三个阶段的训练（SFT->RM->PPO）过程较长，更新迭代较慢问题?

减少训练数据量：如果训练数据量过大，可以考虑减少数据量，以加快训练速度。

优化训练流程：优化训练流程，如使用更高效的训练算法、调整训练参数等，以加快训练速度。

并行训练：使用多GPU 或多服务器并行训练模型，以加快训练速度。

提前停止：在训练过程中，如果模型性能不再提高，可以提前停止训练，以节省时间。

知识蒸馏：使用一个大型教师模型来指导一个小型学生模型，使学生模型能够快速学习到教师模型的知识。

46、模型训练的数据集问题：一般数据集哪里找?

公开数据集：许多研究机构和组织会发布公开数据集，如IMDb 、Wikipedia 、Common Crawl等。
特定领域数据集：针对特定领域的数据集，如医疗、金融、法律等，通常需要从相关的专业文献、报告、论坛等渠道获取。
合成数据：通过自动化或半自动化方法生成数据，如文本合成、数据增强等。
用户生成数据：通过众包、调查、游戏等方式收集用户生成的数据。
商业数据：从商业公司或服务中获取数据，通常需要遵守相关的数据使用协议和隐私政策。

47、为什么需要进行模型量化及原理?

模型量化是将模型中的权重和激活从高精度浮点数转换为低精度整数(如INT8、INT4、FP16等)的过程，目的是减少模型的大小、提高计算效率并降低内存需求。

模型量化的原理在于，低精度数值格式可以提供足够的精度来保持模型性能，同时显著减少数值的位数，从而减少存储和计算资源的使用。

48、大模型词表扩充的方法及工具?

大模型词表扩充的方法包括：

新增词汇：手动添加领域特定的术语和词汇到词表中。
数据驱动：通过分析大量文本数据自动识别和添加高频出现的词汇。
词汇映射：将特定领域的词汇映射到现有的词表中，或者创建新的词汇条目。
工具方面，一些流行的词表管理工具和库包括：
Hugging Face Transformers：提供了一个预训练模型和词表管理的接口。
SentencePiece：一个用于构建词汇表的工具，支持BPE 和其他子词分割方法。
Moses：一个开源的自然语言处理工具，包括用于词表构建和分词的工具。

49、大模型应用框架及其功能?

大模型应用框架提供了一组工具和库，用于构建、训练和部署大型语言模型。这些框架通常包括以下功能：

模型加载和保存：支持加载预训练模型和保存微调后的模型。
数据处理：提供数据预处理、分词、编码等工具。
模型训练：支持模型训练、评估和调试。
模型部署：支持将模型部署到不同的环境和平台，如服务器、移动设备等。
API接口：提供模型预测的API接口，方便集成到其他应用中。

一些流行的大模型应用框架包括：

Hugging Face Transformers：一个流行的NLP 研究工具，提供了大量预训练模型和工具。
PyTorch：一个开源的深度学习框架，支持大型语言模型的训练和部署。
TensorFlow：另一个流行的深度学习框架，也支持大型语言模型的训练和部署。

50、搭建大模型应用遇到过那些问题？如何解决的？

搭建大模型应用时可能会遇到以下问题：

资源限制：计算资源不足，如显存不足、计算时间受限等。
模型稳定性：模型在训练或部署过程中出现不稳定的行为。
数据质量：训练数据质量不高，导致模型性能不佳。
模型部署：将模型部署到生产环境中的技术挑战。

解决这些问题的方法可能包括：

资源优化：使用更高效的训练算法、调整训练参数、使用模型并行或数据并行技术。模型调试：使用
调试工具和技术来分析模型行为，找出问题的根源。
数据处理：进行数据清洗、增强和预处理，以提高数据质量。
部署策略：选择合适的部署策略，如使用模型压缩技术、优化模型结构等。

51、如何提升大模型的检索效果?

优化索引：使用更高效的索引结构，如倒排索引、BM25等。
特征工程：提取和利用有效的特征，如文本向量、词频等。
模型选择：选择合适的检索模型，如基于向量的相似度计算、基于排序的模型等。
训练策略：使用训练策略，如多任务学习、知识蒸馏等，来提高模型的性能。
评估指标：使用更准确的评估指标，如MAP、NDCG等，来衡量检索效果。

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述