- 博客(787)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大模型面试题：如何减轻LLM中的幻觉现象？
面试官，减轻LLM幻觉是一个需要多管齐下、层层设防的系统工程。没有单一解决方案。核心策略是RAG，它通过引入外部知识源，将生成建立在事实上。关键辅助是提示工程和思维链，它们能引导模型以更可控、更透明的方式工作。重要保障是检测与验证流程，包括自动化和人工的。未来方向在于Agent框架，通过将LLM与执行工具结合，从根本上扩展其能力边界和事实核查能力。
2025-11-17 09:09:10
74
原创 大模型面试题：LLM中的因果语言建模与掩码语言建模有什么区别？
因果语言建模：也称为自回归语言建模。它的目标是：在给定序列中之前的所有词元的情况下，预测下一个词元。公式表示P(当前词 | 之前的所有词)比喻：像是一个人在朗读或写作，他只能看到已经写出的部分，然后预测下一个最可能出现的词。掩码语言建模：也称为去噪语言建模。它的目标是：在给定序列中所有上下文（包括左侧和右侧）的情况下，预测被随机遮盖的原始词元。公式表示P(被遮盖的词 | 所有未被遮盖的词)比喻：像是做完形填空，你可以看到整个句子的结构，然后根据空位前后的信息来推断空里应该填什么词。面试官，
2025-11-16 19:53:06
94
原创 大模型面试题：哪些因素会导致LLM的偏见？
反映了人类社会现有的偏见。模型的统计本质会捕捉并强化这些偏见。开发和对齐过程中的选择会引入新的偏见。部署后的使用方式会让偏见持续存在。在我的项目实践中，尤其是在开发RAG和Agent系统时，我们会特别关注这些问题。在RAG中，我们会精心设计检索源，确保信息来源的多样性和公正性，从源头减少偏见知识的注入。在Agent的决策流程中，我们会引入偏见检测模块或设置多视角验证机制，对模型的中间思考结果进行审查。在微调阶段，我们会刻意构建平衡和去偏见的数据集，并采用对抗性训练。
2025-11-16 19:52:39
107
原创 大模型面试题：请讲一下生成式语言模型的工作机理
本文系统阐述了生成式语言模型的核心思想与工作机制。模型基于概率预测的链式反应，通过学习自然语言的概率分布实现文本生成。核心流程包括：1）文本数字化表示（分词、向量化、位置编码）；2）多层Transformer处理（掩码自注意力机制和前馈网络）；3）计算下一个词的概率分布；4）通过采样策略实现自回归生成。该机制通过海量数据训练内化了语言规则和知识，当模型规模达到临界点时展现出涌现能力。这一原理在RAG和Agent等应用中具有重要作用，通过调整上下文输入影响模型的概率预测过程。
2025-11-14 13:16:35
119
原创 大模型面试题：为什么现在的大模型大多是Decoder-Only的架构？
核心逻辑自回归生成是锻炼模型语言能力的“终极试炼”，它迫使模型学习到深刻的理解力，并能通过提示统一解决各类任务。性能优势：在缩放定律下，它被证明是计算和参数效率更高的选择。工程优势：架构统一且简单，易于大规模训练和部署。生态效应：由GPT系列的成功所引领，形成了强大的技术路径依赖和社区共识。在我的项目实践中，无论是构建RAG系统还是开发Agent，我们选用的基座模型（如LLaMA、ChatGLM）大多都遵循这一架构范式，正是因为其在生成质量、指令遵循和推理能力上提供了最佳的基础。
2025-11-14 13:15:51
256
原创 大模型面试题：请讲一下GPT系列模型是如何演进的？
在我的项目实践中，例如构建RAG系统时，深刻理解GPT系列的这种演进至关重要。我们知道GPT-4拥有更强的指令遵循和推理能力，因此可以设计更复杂的检索-生成链条；而在设计Agent时，ChatGPT引入的对话管理和指令遵循能力，正是构建可靠智能体的基石。以上就是我对GPT系列模型演进的理解。
2025-10-28 10:22:37
192
原创 大模型面试题：简述GPT和BERT的区别？
特征GPTBERT核心架构注意力机制单向 / 掩码自注意力双向自注意力预训练目标自回归语言模型掩码语言模型 + 下一句预测核心优势文本生成语言理解典型应用对话、创作、续写分类、NER、问答、相似度思维模式单向、顺序双向、全局BERT的出现，证明了双向预训练的强大威力，极大地提升了NLU任务的性能。而GPT系列（尤其是GPT-2, GPT-3以及后来的ChatGPT, GPT-4）则沿着自回归的路径，将模型规模和数据量推向极致，证明了超大规模语言模型在生成和通用能力上的巨大潜力。
2025-10-28 10:21:26
120
原创 大模型面试题：PagedAttention的原理是什么，解决了LLM中的什么问题？
总而言之，PagedAttention并非一种新的注意力计算算法，而是一种革命性的KV Cache内存管理策略。它通过借鉴操作系统的分页思想，巧妙地解决了LLM推理服务中显存利用率低和碎片化严重的问题，从而显著提高了服务吞吐量，并有效降低了运营成本。这项技术已被vLLM等主流高性能推理引擎采纳为核心，成为大模型高效服务的关键基石之一。希望以上解释能帮助您理解PagedAttention。如果您对其在特定场景（如与FlashAttention的协同优化）中的应用感兴趣，我们可以继续深入探讨。
2025-10-23 10:22:56
208
原创 大模型面试题：什么是投机采样技术，请举例说明？
投机采样是一种无损的大模型推理加速技术，采用“小模型提案+大模型审批”的协作机制。其核心是让快速的小模型生成候选词草案（如3-5个词），再由大模型并行验证这些候选词。通过将串行计算转为并行验证，在保持输出质量不变的前提下，显著减少大模型调用次数，实现2-3倍的加速效果。该技术已被集成到vLLM等推理引擎，对提升实时交互系统的性能具有重要价值。
2025-10-23 10:21:32
97
原创 NLP面试题：Transformer结构中的Decoder端的输入张量特点和含义？
摘要：本文详细解析了Transformer中Decoder端的输入机制。Decoder由6个相同结构的Block组成，底层Block输入特殊：训练时采用真实标签序列右移一位作为输入，通过MASK机制实现；预测时则逐步拼接前序预测结果作为输入。其他Block均接收前一层输出和Encoder输出。训练与预测阶段的主要区别在于输入序列的来源（真实标签vs预测结果）。该机制确保了Transformer在序列生成任务中的有效性。
2025-09-29 23:03:19
223
原创 NLP面试题：Transformer的结构是什么样的? 各个子模块各有什么作用?
本文详细解析了Transformer架构中的关键模块：1)Encoder包含6个堆叠的EncoderBlock，每个Block由多头自注意力层和前馈全连接层组成，采用ScaledDot-ProductAttention计算；2)Decoder同样包含6个DecoderBlock，但增加了Encoder-Decoder注意力层并引入look-ahead-mask机制；3)每个子层后都接Add&Norm模块，含残差连接和LayerNorm；4)位置编码采用三角函数计算。文章重点比较了Encoder和De
2025-09-29 22:55:24
253
原创 NLP面试题：请介绍BERT模型优缺点和MLM任务
BERT模型核心要点总结： 优点：采用双向Transformer结构，能捕捉上下文语义；预训练+微调范式高效；在11项NLP任务中取得最优效果；模型可扩展性强。缺点：计算资源消耗大；中文版仅支持字向量；MLM任务存在训练/预测偏差；长文本需截断处理（head-only/tail-only/head+tail三种方式）。MLM任务采用80%替换为[MASK]、10%随机替换、10%保留原词的特殊策略，既让模型学习上下文推断，又避免过度依赖[MASK]标记。该设计使模型在微调阶段仍保持对上下文信息的敏感性。
2025-09-28 22:15:53
93
原创 NLP学习：什么是BERT模型
BERT是Google于2018年提出的基于Transformer的双向预训练语言模型，在11项NLP任务中创下SOTA表现。其核心架构包含Embedding层（融合词嵌入、句子分段和位置编码）、多层Transformer编码器（采用自注意力机制）和任务适配层。BERT通过两大预训练任务学习语言表示：1）MLM任务随机遮蔽15%的token进行预测；2）NSP任务判断句子对关系。预训练完成后，通过微调即可适配各类下游任务，如文本分类、问答等。BERT的创新双向建模方式显著提升了语言理解能力，成为NLP发展的
2025-09-28 22:11:50
48
原创 NLP学习：Transformers自动模型方式完成文本摘要任务
Transformers自动模型方式可高效完成文本摘要任务。该方法通过AutoModel自动选择最优模型和参数，提供灵活的中级API控制模型加载和推理过程。示例中使用distilbart-cnn-12-6模型，将BERT预训练原理的长文本成功压缩为包含关键信息的简短摘要。自动模型方式虽需更多代码实现，但支持定制化修改和性能优化，适合复杂任务需求。该技术为NLP任务提供了高效解决方案。
2025-09-27 22:28:58
64
原创 NLP学习：Transformers具体模型方式完成完型填空任务
本文介绍了使用具体模型方式完成NLP任务的方法，重点分析了Bert模型在完型填空任务中的应用。具体模型方式通过直接加载特定模型类（如BertForMaskedLM），具有明确性、灵活性和细粒度控制的优点，但代码复杂度较高。文中给出了一个完整的Python示例，展示如何使用Bert模型预测句子中的缺失词"你"。该示例包含tokenizer加载、文本转换、模型推理和结果解析等关键步骤，为NLP任务提供了实用的实现参考。
2025-09-27 22:27:28
45
原创 NLP学习：Transformers自动模型方式完成完型填空任务
文章摘要：本文介绍了使用Transformers的自动模型方式（AutoModel）完成完型填空任务的流程。该方法通过AutoModelForMaskedLM加载预训练模型，对包含[MASK]的句子进行预测。具体步骤包括：加载tokenizer和模型、将文本转为张量、模型推理获得预测结果，并提取概率最高的词语。示例展示了"我想明天去[MASK]家吃饭"的预测过程，最终输出预测结果为"她"。该方法灵活性强，适合定制化需求，但需要更多代码实现和模型理解。
2025-09-26 21:20:10
134
原创 NLP学习：Transformers自动模型方式完成特征提取任务
本文介绍了Transformers中的自动模型方式（AutoModel）在NLP任务中的应用。AutoModel是一种自动化流程，通过智能算法自动选择模型、调整超参数等，减少人工干预。文章对比了自动模型方式的优缺点：灵活性高、支持定制化需求，但代码复杂度较高。随后以特征提取任务为例，展示了如何使用AutoTokenizer和AutoModel处理文本数据，详细说明了encode_plus()函数的功能和输出结果的结构，包括input_ids、token_type_ids和attention_mask等关键参
2025-09-26 21:17:55
186
原创 NLP学习：Transformers自动模型方式完成文本分类任务
本文介绍了使用Transformers的自动模型方式（AutoModel）进行文本分类任务的方法。AutoModel通过自动化流程减少人工干预，自动选择模型和调整参数。文章详细展示了Python实现步骤：1）加载预训练分词器和序列分类模型；2）文本转张量处理；3）模型推理和结果解析。其中比较了不同参数设置对编码结果的影响，并演示了如何获取最终分类结果。该方法灵活性高，支持定制化需求，但需要更多编码工作和模型理解。最后提供了代码示例和输出结果说明。
2025-09-24 22:28:03
50
原创 NLP学习：Transformers管道方式完成NER任务
本文介绍了使用Transformers的管道方式完成命名实体识别(NER)任务的方法。首先说明了安装transformers和datasets包的步骤，并解释了管道方式的优缺点：优点在于快速上手、代码简洁且支持多种NLP任务；缺点包括灵活性差、性能开销大和不适于定制化需求。NER任务用于识别文本中的人名、地名等实体，本质上是序列标注任务。通过实例展示了如何使用pipeline加载预训练模型("roberta-base-finetuned-cluener2020-chinese")进行中文
2025-09-24 22:25:48
84
原创 NLP学习：Transformers管道方式完成文本摘要任务
本文介绍了使用Transformers管道方式进行文本摘要任务的方法。首先通过pip安装transformers和datasets包，然后利用Pipeline这一高级API快速实现文本摘要功能。文章展示了具体代码示例，包括模型下载、实例化、文本输入和结果输出，最终生成BERT模型的简要概述。Pipeline方式具有快速上手、代码简洁等优点，但也存在灵活性差、性能开销等缺点。该方法适合快速实验和简单任务，但不适合需要深度定制的场景。
2025-09-23 22:59:33
247
原创 NLP学习：Transformers管道方式完成阅读理解任务
本文介绍了使用Transformers管道方式完成阅读理解任务的方法。首先说明需要安装transformers和datasets包，并介绍了管道方式的优势：快速上手、代码简洁、支持多任务，但也存在灵活性差、性能开销等缺点。然后以中文阅读理解任务为例，展示如何通过pipeline加载预训练模型进行问答，输入上下文和问题后，模型能准确输出答案位置和内容。该方法封装了复杂流程，适合快速实现NLP任务。
2025-09-23 22:57:52
153
原创 NLP学习：Transformers管道方式完成完型填空任务
本文介绍了使用Transformers管道方式完成中文完型填空任务的方法。首先需安装transformers和datasets包，管道方式通过封装预处理、推理等步骤简化流程，适合快速实验但灵活性较差。示例代码演示了如何加载中文BERT模型预测句子中的缺失词，如"我想明天去[MASK]家吃饭"中的[MASK]位置，模型成功预测出"她"、"他"等可能选项并给出概率。该方法无需深入理解模型细节，几行代码即可实现复杂NLP任务，适合初学者快速上手。
2025-09-22 22:14:20
75
原创 NLP学习：Transformers管道方式完成特征提取任务
文章摘要：Transformers管道方式提供了一种快速完成NLP任务的高级API，通过封装预处理、推理等步骤实现简洁操作。特征提取任务使用预训练模型（如bert-base-chinese）输出token级别的嵌入向量（示例输出为9个字的768维特征），适用于作为其他模型的输入特征。管道方式虽便捷（支持多种任务、代码简洁），但灵活性较差且存在性能开销。带任务头输出则会添加适配层处理特定任务，适用于分类、序列标注等场景。（149字）
2025-09-22 22:11:52
206
原创 NLP学习：Transformers管道方式完成文本分类任务
本文介绍了使用Transformers库的管道(Pipeline)方式快速完成NLP任务的方法。首先说明了安装transformers和datasets包的步骤，需要创建conda虚拟环境以避免版本冲突。管道方式通过封装模型加载、预处理、推理等步骤，只需几行代码即可实现复杂任务，特别适合快速实验和初学者。文章以文本分类任务为例，演示了如何使用预训练的中文情感分析模型进行预测，支持从官网自动下载或加载本地模型。虽然管道方式简单易用，但也存在灵活性差、性能开销较大等缺点，不适合需要定制化修改的场景。
2025-09-21 20:43:19
99
原创 NLP学习：Transformers库介绍
Huggingface是一家专注于NLP技术的公司，致力于推动先进NLP技术的普及化。其开源的Transformers库已成为最受欢迎的NLP工具之一，支持PyTorch和TensorFlow框架，提供BERT、GPT-2等SOTA预训练模型。该库提供三层应用接口：极简的Pipeline方式、灵活的AutoModel方式以及可深度定制的SpecificModel方式，满足不同开发需求。Transformers库极大降低了NLP技术的使用门槛，使开发者能快速调用和微调先进模型。
2025-09-21 20:38:24
67
原创 人工智能学习：什么是迁移学习
摘要：迁移学习通过将源任务的知识应用于目标任务，有效解决数据稀缺问题。预训练模型在大规模数据上学习通用特征表示，为下游任务提供良好基础。微调则针对特定任务调整预训练模型参数，包括冻结部分层、逐步解冻等策略。两种迁移方式各具优势：预训练模型适用数据稀缺场景，微调能显著提升目标任务性能。该技术可降低训练成本、加快收敛速度并提高模型泛化能力，是深度学习领域的重要方法，尤其在自然语言处理中应用广泛。
2025-09-20 20:45:19
418
原创 机器学习面试题：请介绍一下XGBoost的原理？XGBoost是怎么做并行的?
XGBoost的核心思想与基本原理，XGBoost的目标函数与关键改进，XGBoost的工程上的优化与特性，XGBoost的主要优势，XGBoost的典型应用场景，XGBoost的并行化的主要方法。
2025-09-20 13:51:22
506
原创 NLP学习：使用FastText工具进行词向量模型迁移
摘要：词向量迁移是将预训练的词向量模型应用于新任务的过程，能提升性能、加快训练速度并增强泛化能力。FastText提供157种语言的CommonCrawl+Wikipedia词向量（CBOW模式）和294种语言的Wikipedia词向量（Skipgram模式）。使用步骤包括：1）下载bin.gz文件；2）解压；3）加载模型；4）验证效果（如通过邻近词分析）。该方法特别适合数据稀缺场景，能有效利用大规模语料训练的语义信息。
2025-09-19 23:04:33
212
原创 NLP学习：使用FastText工具训练词向量
本文介绍了词向量的概念及FastText模型的实现方法。词向量是将词语映射为高维稠密向量，包含语义信息并反映词间关系。FastText通过字符n-gram扩展Word2Vec，能处理未登录词并捕捉词形变化。文章详细演示了使用FastText训练词向量的五个步骤：数据获取、模型训练、参数设置（如维度、学习率等）、效果检验（通过邻近词评估）以及模型保存与加载。实验显示FastText能有效学习语义关系，如"sports"的邻近词包含"sportswear"等相关词汇。该方
2025-09-19 23:01:08
183
原创 NLP学习：使用FastText工具进行文本分类
本文介绍了文本分类的基本概念、实现方法及FastText工具的应用。主要内容包括：文本分类是将文档分配给一个或多个类别，常见类型有二分类、单标签多分类和多标签多分类。FastText工具通过词袋模型、n-gram特征等方法高效实现文本分类。文章详细演示了使用FastText进行烹饪相关文本分类的完整流程：数据获取与预处理、模型训练与评估、超参数调优（如学习率、训练轮次、损失函数选择等），以及模型保存与加载。通过优化，模型准确率从初始的13.5%提升至60%。最后总结了文本分类的核心概念和FastText工具
2025-09-18 22:32:49
199
原创 人工智能面试题：什么是CRF条件随机场
CRF（条件随机场）是一种强大的判别式概率图模型，专门用于序列标注任务。相较于HMM和MEMM，CRF直接建模标签序列的联合概率，能有效利用上下文信息并避免标注偏置问题。它通过特征函数（转移特征和状态特征）和全局归一化实现对序列的全局最优标注。虽然训练复杂度较高，但CRF在词性标注、命名实体识别等NLP任务中表现优异。尽管当前深度学习方法兴起，CRF的核心思想仍对序列建模领域产生深远影响。
2025-09-18 19:59:34
216
原创 NLP学习：什么是FastText模型架构
FastText是一种改进的词向量模型，其核心创新在于子词分解和高效训练机制。模型采用类似Word2Vec的Skip-gram和CBOW架构，但通过将词拆分为子词提升未登录词处理能力。为优化计算效率，FastText引入了两种关键技术：层次softmax通过构建霍夫曼树将时间复杂度从O(V)降至O(logV)；负采样则将多分类转为二分类问题，仅更新少量样本参数。这两种方法共同解决了大词汇量场景下的计算瓶颈，使模型在保持准确率的同时显著提升训练速度。FastText还采用三层网络结构（输入层、隐藏层、输出层）
2025-09-17 22:17:44
294
1
原创 NLP学习：什么是FastText工具
FastText是Facebook开发的NLP工具包，具有高效文本分类和词向量训练两大功能。它通过子词信息处理未登录词，采用层次softmax等技术实现快速训练。优点是处理速度快、适合大规模数据，但短文本效果较差且需大量训练数据。安装可通过pip在线或whl文件离线完成。核心特点是字符级n-gram和子词表示，适用于多语言处理任务。
2025-09-17 22:12:45
199
原创 深度学习面试题：请介绍梯度优化的各种算法
本文系统介绍了机器学习中的梯度优化算法。从基础的批量梯度下降、随机梯度下降和小批量梯度下降讲起，分析了其优缺点。随后重点讲解了动量法、自适应学习率算法(AdaGrad、RMSProp)以及结合二者优势的Adam优化器，并介绍了改进版AdamW。文章对比了各算法的核心思想、优缺点和适用场景，建议初学者从Adam/AdamW开始，追求最佳性能可考虑带动量的SGD。这些优化算法通过改进参数更新方式，有效解决了传统梯度下降收敛慢、易震荡等问题。
2025-09-16 22:50:29
448
原创 机器学习面试题：请讲一讲分类评估方式?
本文系统介绍了分类模型评估的多个维度。首先从混淆矩阵这一基础工具出发，详细解释了TP、FP、FN、TN等核心概念。然后重点分析了准确率、精确率、召回率和F1分数等关键指标的特点及适用场景，特别强调了精确率和召回率的权衡关系。文章还介绍了ROC曲线与AUC值、PR曲线等宏观评估方法，并说明了多分类问题的处理方式。最后强调评估指标必须结合具体业务需求，考虑不同误分类的实际成本。全文全面阐述了分类模型评估的技术要点与业务考量，为模型性能分析提供了系统指导。
2025-09-16 22:44:17
246
1
原创 NLP学习：Transformer模型构建
本文详细介绍了Transformer模型的构建过程及代码实现。首先阐述了模型的整体架构，包括编码器、解码器及其核心组件（嵌入层、位置编码、多头注意力机制等）。然后通过Python代码展示了编码器-解码器结构的实现方式，重点分析了EncoderDecoder类和make_model函数的设计思路。其中，EncoderDecoder类封装了编码解码流程，make_model函数负责初始化各组件并构建完整模型。最后通过测试代码验证了模型的正确性，输出了模型结构和数据处理结果。整个过程体现了Transformer模
2025-09-15 21:56:22
166
原创 机器学习面试题：请介绍一下你理解的集成学习算法
集成学习通过组合多个基学习器提升模型性能，主要分为三种方法：Bagging（如随机森林）通过并行训练降低方差，Boosting（如XGBoost）通过串行迭代降低偏差，Stacking通过元模型组合不同算法。Bagging适合处理高方差模型，Boosting适用于弱学习器，Stacking常用于竞赛但对部署要求较高。选择方法需权衡效率与精度，集成学习已成为现代机器学习的重要工具。
2025-09-15 21:42:45
1169
原创 机器学习面试：请介绍几种常用的学习率衰减方式
学习率衰减是深度学习中优化训练过程的重要策略，通过逐步降低学习率，早期快速收敛，后期精细调参。常见方法包括：1)指数衰减；2)阶梯衰减（预设里程碑降学习率）；3)余弦退火（平滑下降，可配合重启）；4)线性衰减；5)基于验证集性能的自适应衰减；6)反比例衰减（常用于Transformer模型）。实践建议优先尝试余弦退火或线性衰减，配合学习率预热，并根据任务需求选择合适策略。主流框架均内置这些方法，需通过实验确定最佳方案。
2025-09-14 18:46:52
842
瑞芯微RKNN模型部署工具：RKNN Model Zoo
2025-07-26
haarcascades分类器下载资源及示例代码
2020-12-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人