MATLAB算法实战应用案例精讲-【大模型】LLM算法（最终篇）

最新推荐文章于 2025-03-20 16:08:10 发布
最新推荐文章于 2025-03-20 16:08:10 发布
阅读量518 收藏 1
点赞数
分类专栏： 【数学建模应用】MATLAB算法实战案例精讲500篇 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36130719/article/details/132871433
版权

目录

知识杂谈

1.transformer 八股文

2.attention计算方式以及参数量

3.NLU以及NLG各种任务的差异

4.tokenizer的细节，tokenizer的计算方式，各种tokenizer的优缺点

大模型算法

1.在指令微调中，如何设置、选择和优化不同的超参数，以及其对模型效果的影响？

2.在指令微调中，如何选择最佳的指令策略，以及其对模型效果的影响？

3.Lora的原理和存在的问题讲一下？

4.bf16，fp16半精度训练的优缺点

5.RLHF完整训练过程是什么？RL过程中涉及到几个模型？显存占用关系和SFT有什么区别？

评测

1.如果想全面的评测模型能力，有哪些维度以及数据集？

2.如何评测生成，改写等开放性任务?

3.zeroshot和Fewshot具体做法的区别？

算法原理 

大模型参数

1.1 模型参数单位

1.2 模型参数精度

推理显存计算

以 Llama-2-7b-hf 为例

训练显存计算

以 Llama-2-7b-hf 为例

 大模型微调样本构造的trick

 

知识杂谈

1.transformer 八股文

a.Self-Attention的表达式

b.为什么上面那个公式要对QK进行scaling

scaling后进行softmax操作可以使得输入的数据的分布变得更好，你可以想象下softmax的公式，数值会进入敏感区间，防止梯度消失，让模型能够更容易训练。

c.self-attention一定要这样表达吗？

不一定，只要可以建模相关性就可以。当然，最好是能够高速计算（矩阵乘法），并且表达能力强（query可以主动去关注到其他的key并在value上进行强化&

了解本专栏 订阅专栏 解锁全文
MATLAB算法实战应用案例精讲-【大模型】LLM算法（补充篇）
qq_36130719的博客
09-20 339
当模型生成的文本不遵循原文（Faithfulness）或者不符合事实（Factualness），我们就可以认为模型出现了幻觉的问题。Faithfulness：是否遵循input content；Factualness：是否符合世界知识；针对不同任务，幻觉的定义也可能出现差异：数据源（source）不一致：例如：摘要的数据源是document，data-to-text的数据源是data table，对话的数据源是对话历史，而开放域对话的数据源可以是世界知识。
MATLAB算法实战应用案例精讲-【大模型】GAIA
qq_36130719的博客
09-24 162
量化是一种将较大尺寸的模型（如 LLM 或任何深度学习模型）压缩为较小尺寸的方法。量化主要涉及对模型的权重参数和激活值进行量化。让我们通过一个简单的模型大小计算来验证这个说法。左侧：基础模型大小计算（单位：GB），右侧：量化后的模型大小计算（单位：GB）在上图中，基础模型 Llama 3 8B 的大小为 32 GB。经过 Int8 量化后，大小减少到 8GB（减少了 75%）。使用 Int4 量化后，大小进一步减少到 4GB（减少约 90%）。这使模型大小大幅减少。
LLM大模型教程：大模型算法二次开发，基本思路详细拆解
2401_84206094的博客
09-26 852
(Continue PreTraining)增量预训练在大模型整个流程中，增量预训练是属于后期预训练（Post-pretraining）的范畴。Post-pretraining（后期预训练）是一种在模型的初始预训练和最终微调之间进行的训练方法。这种方法通常用于进一步适应模型以处理特定类型的数据或任务。以下是详细介绍，参考了之前对SFT和RLHF的描述方式：1、后期预训练（Post-pretraining）
当MATLAB遇上AI大模型：手把手教你接入ChatGPT/DeepSeek
最新发布
weixin_56135535的博客
03-20 1282
MATLAB 2024b深度学习新特性全面解析与DeepSeek大模型集成开发高级培训班🚀随着人工智能技术的飞速发展，其与多学科的交叉融合以及在工程实践领域的纵深拓展已成为时代潮流。在这一背景下，MATLAB 2024b深度学习工具箱应运而生，凭借架构创新与功能强化，为科研工作者提供了一套全栈式的科研创新与行业应用解决方案，具有重要的时代意义。本教程紧密围绕该版本工具链的三大革新方向展开，致力于助力科研工作者在深度学习领域取得突破性进展。
MATLAB 编程语言的 AI 大模型使用案例：利用深度学习模型进行图像分类
贾贾的博客
03-21 1716
在此示例中，使用了 CIFAR-10 数据集，其中包含10个类别的60000个32x32彩色图像。首先加载和预处理数据，然后定义了一个简单的卷积神经网络模型。接下来，定义了训练选项，包括优化器、学习率、最大训练周期数等。然后，使用训练选项训练深度学习模型，并评估其在测试集上的性能。这是一个简单的图像分类示例，可以根据自己的数据和任务来调整模型结构和参数，并使用不同的数据集来进行训练和评估。
MATLAB算法实战应用案例精讲-【大模型】LLM算法（基础篇）
qq_36130719的博客
03-08 346
LlamaIndex是一个数据框架，用于让基于LLM的应用程序摄取、结构化和访问私有或领域特定的数据。它提供Python和Typescript版本。LLMs提供了人类和数据之间的自然语言接口。广泛可用的模型预先训练了大量公开可用的数据，如维基百科、邮件列表、教科书、源代码等。然而，虽然LLMs在大量数据上进行了训练，但它们没有接触您的数据，这可能是私有的或与您要解决的问题特定相关的数据。它可能存在于APIs、SQL数据库中，或者被困在PDF和幻灯片中。LlamaIndex特点。
MATLAB算法实战应用案例精讲-【大模型】LLM算法
qq_36130719的博客
09-11 1385
大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。大语言模型可以处理多种自然语言任务，如文本分类、问答、对话等，是通向人工智能的一条重要途径。
MATLAB算法实战应用案例精讲-【概念篇】大模型
qq_36130719的博客
09-04 512
其发展历程主要分为以下几个阶段：传统机器学习模型阶段。20世纪90年代初，机器学习模型主要以逻辑回归、神经网络、决策树和贝叶斯方法等为代表。传统的机器学习模型最大的特点是模型规模较小，只能处理较小的数据集。深度学习模型阶段。深度学习模型的兴起可以追溯至20世纪80年代。但是受制于硬件和软件的限制，深度学习模型的应用一直受到限制。直到近年来，随着计算机硬件和软件的发展，深度学习模型得到了广泛应用。深度学习模型的代表包括卷积神经网络、循环神经网络、深度信念网络等。超大规模深度学习模型阶段。
MATLAB算法实战应用案例精讲-【大模型】LLM算法（基础篇）（二）
qq_36130719的博客
04-01 515
2017年是机器学习领域历史性的一年。Google Brain 团队的研究人员推出了 Transformer，它的性能迅速超越了大多数现有的深度学习方法。著名的注意力机制成为未来 Transformer 衍生模型的关键组成部分。Transformer 架构的惊人之处在于其巨大的灵活性：它可以有效地用于各种机器学习任务类型，包括 NLP、图像和视频处理问题。在过去的几年里，人工智能（AI）领域取得了显著的进展，特别是在大型模型的应用方面。
通往 LLM 算法工程师之路
kaka0722ww的博客
06-15 1141
大模型发展日新月异，本文仅梳理成为大模型算法工程师一些典型的技术，期望帮助大家在通往 LLM 算法工程师的道路上走的更扎实。
时刻推理:LLM独特的计算模式
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
01-09 915
大语言模型（LLM）的独特计算模式 1. 背景介绍 大语言模型（LLM）是一种通过学习大量文本数据来理解和生成人类语言的计算模型。它们已经在各种任务中取得了显著的成功，从文本生成到问答系统。然而，LLM的计算模式与传统的计算机程序有着根本的不同。本文将深入探讨LLM独特的计算模式，并提供实践指南和工具推
AI 大模型 LLM 的基础概念、核心算法原理数学模型和发展历史及其应用领域
热门推荐
AI天才研究院
06-15 1万+
文本摘要是指从大量的文本中提取关键信息，并生成简洁、易于理解的摘要。LLM能够通过对文本进行编码和自动摘要，从而提高文本摘要的质量和效率。总之，LLM是自然语言处理领域中的一个重要组成部分，它通过对大量数据进行训练，实现了自然语言理解、文本分类、机器翻译、文本摘要等多种自然语言处理任务。在未来的发展中，我们可以预见LLM将会有着更广泛的应用场景，并为人工智能技术的发展带来更大的推动力。
LLM大语言模型算法特训
yXIAOyu_的博客
08-12 1274
LLM（Large Language Model）大语言模型算法特训是一个深度学习领域的高级培训项目，专门设计用于训练和优化大规模语言模型的开发者和研究人员。本文将详细探讨LLM算法的基本原理、训练技术、应用领域以及参与者可以预期的学习收获和挑战。
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 4875
大模型（LLM）推理优化技术整理。
MATLAB算法实战应用案例精讲-【大模型】LLM算法（应用篇）
qq_36130719的博客
09-15 347
在推荐场景之中，给用户准确地推荐相关商品的同时，如果能够挖掘不同兴趣之间的隐藏关系，基于搭配进行发散推荐，将给用户带来新的惊喜感、实现用户需求和兴趣的扩展。从GPT4的一些技术细节泄露后，对于投机采样【Speculative Decoding】策略加速推理的研究比较多，但是投机采样依赖一个小而强的模型来生成对于原始的模型来说比较简单的token，其次在一个系统中维护2个不同的模型，导致架构上的复杂性，最后使用投机采样的时候，会带来额外的解码开销，尤其是当使用一个比较高的采样温度值时。
LLM增强语义嵌入的模型算法综述
lihui49的博客
03-13 699
本文开篇即对文本语义嵌入方法进行了系统性概述，剖析了当前主流算法模型的架构特征及其发展脉络与趋势。鉴于 LLM 的迅速崛起，文章进一步在多维视角下对比了 LLM 文本嵌入技术与传统语义嵌入方法之间的显著差异。传统的文本语义嵌入技术以其高效性、广泛应用性和强大的语义表示能力为众多任务提供了有力支持，在自然语言处理领域占据重要地位。然而，该技术也面临着数据依赖性、静态性以及计算资源消耗等瓶颈问题。相比之下，LLM 通过捕捉文本上下文信息、支持多语言处理及出色的生成能力，为提升文本嵌入质量带来了新视角。
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
丨汀、的博客
12-04 4044
人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景
TensorRT-LLM部署大模型：实战教程与优化流程分析
教程中包含了详细的优化和分析流程，以及具体的大模型部署项目实战案例。TensorRT-LLM是NVIDIA推出的深度学习推理加速器，特别适用于大规模语言模型的部署。通过使用TensorRT-LLM，可以显著提高模型在实际应用中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

林聪木

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值