大模型Transformer原理及模型微调

不良人龍木木

已于 2024-08-18 17:07:42 修改

阅读量125

点赞数 3

分类专栏： NLP 文章标签： transformer 人工智能

于 2024-08-14 12:30:34 首次发布

本文链接：https://blog.csdn.net/weixin_47102187/article/details/141187874

版权

NLP 专栏收录该内容

7 篇文章 0 订阅

订阅专栏

NLP自学推荐

如果你正在学习NLP或是想了解一下大模型技术，这里给大家推荐个b站博主的自学视频讲解，是我目前看到过最直观最简洁的讲解，链接我放到了下面了。

https://www.bilibili.com/video/BV1W6421g7pU/?p=4&spm_id_from=pageDriver
https://www.bilibili.com/video/BV1kg4y1Y7PK/?p=4&spm_id_from=pageDriver

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

不良人龍木木

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

带你快速了解大模型微调原理

Langchain的博客

06-22

1128

大模型微调（Fine-tuning）是指在已经预训练好的大型语言模型基础上，使用特定的数据集进行进一步的训练，以使模型适应特定任务或领域。我们所说的“大模型”这个词：“大”是指用于训练模型的参数非常多，多达千亿、万亿；而“模型”指的就是上述公式中的矩阵W。在这里，矩阵W就是通过机器学习，得出的用来将X序列，转换成Y序列的权重参数组成的矩阵。需要特别说明：这里为了方便理解，做了大量的简化。在实际的模型中，会有多个用于不同目的的权重参数矩阵，也还有一些其它参数。

Transformer大模型底层原理

kkBDserver的博客

07-01

1975

全民ai的时代，怎么能不学点ai？况且我司还是号称拥有国内最强的gpt乘着周末研究了下Transformer是如何工作的，以及他的原理。本文将深入解析Transformer大模型的底层原理，探讨其架构、注意力机制、编码方式等关键技术细节。

参与评论您还未登录，请先登录后发表或查看评论

大模型核心技术原理 Transformer架构详解

2401_85280106的博客

08-08

1031

在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transformer，但 GPT 引入了“预测下一个词”的任务，即不断通过前文内容预测下一个词。之后，在大量的数据上进行学习才达到大模型的效果。

大模型核心技术原理: Transformer架构详解

2301_81940605的博客

01-13

4206

大模型核心技术原理: Transformer架构详解

【大模型系列】指令微调

靖待的CSDN博客

04-23

4412

大模型系列之指令微调笔记。

大语言模型-Transformer

与时俱进，一专多能。

06-21

2518

大语言模型-Transformer是深度学习在自然语言处理领域的里程碑式进展，极大地推动了语言理解和生成的技术。从基本的文本处理到复杂的对话系统，Transformer及其各种变体已经成为了现代NLP不可或缺的一部分。尽管存在一些挑战，但这些模型在多个任务上都已经取得了显著的成果，并且继续在人工智能领域发挥着重要作用。

Transformer 大模型详解——transformer模型

zhishi0000的博客

06-30

3273

解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。

NLP大模型微调原理

狮子座明仔知识集散场

05-07

7473

2. 论文《Training Compute-Optimal Large Language Models》研究发现最好的性能不是在最大的模型上，而是在用了更多token的模型上，因此作者认为一个较小的模型训练的时间更长，用的token更多，能达到一样的模型效果，并且在预测时较为便宜（cheaper）。GPT等大型语言模型基于Prompt的zero shot的学习范式有一个很大的问题是，预训练的模型完成的任务是后继文本的预测，这和具体任务的要求有一些偏离，生成的结果也不一定符合人的意图。

大模型原理、微调和行业大模型的部署

周红伟讲AI

07-26

471

不仅系统讲解了LLM和ChatGLM4的技术原理, 还通过代码解析和实战项目深度剖析了相关技术在工程落地中的关键环节, 有助于学员全面掌握大模型相关知识和动手实战能力。本课程首先讲述了有关Transformer和大语言模型(LLM)的关键前置知识, 包括注意力机制、多头注意力、编码器-解码器结构等Transformer原理, 以及LLM的文本生成和LLM微调技术原理。- LLM的文本生成策略: 包括贪婪搜索、束搜索、随机采样、温度采样、Top-k采样和Top-p采样等。

基于Sentence Transformer微调向量模型

2401_84494441的博客

07-29

1060

库升级到了V3，其中对模型训练部分做了优化，使得模型训练和微调更加简单了，跟着官方教程走了一遍，顺利完成向量模型的微调，以下是对官方教程的精炼和总结。

百川大模型微调，lora模型，训练微调自己的大预言模型

08-03

百川大模型微调，lora模型，训练模型，大语言模型，Baichuan-7B模型微调，百川大模型量化 int量化 INT4量化微调模型，Baichuan-7B模型量化百川模型量化 Baichuan-7B 是由百川智能开发的一个开源可商用的大规模预...

基于transformer从0开始训练中文对话式大语言模型.zip

06-24

它涵盖了Transformer模型的基本原理、数据集的处理、微调流程、模型评估等多个方面，对于想深入了解和实践自然语言处理的IT从业者来说，是一份宝贵的资料。通过学习和实践，你可以掌握训练大模型的核心技术，并有...

多模态大模型：技术原理与实战微调实战

AI天才研究院

06-25

771

近年来，随着深度学习技术的快速发展，人工智能领域取得了突破性进展，尤其是在自然语言处理和计算机视觉领域。然而，传统的单模态模型往往只能处理一种类型的数据，例如文本或图像，难以捕捉现实世界中多模态信息之间的复杂关系。为了解决这个问题，研究人员开始探索多模态学习，旨在构建能够同时处理和理解多种模态信息的模型。多模态大模型作为多模态学习的最新进展，通过整合来自不同模态的信息，例如文本、图像、音频和视频，能够实现更全面、更深入的语义理解。

Transformer大模型实战为文本摘要任务微调BERT模型

AI天才研究院

06-19

1047

1. 背景介绍随着人工智能技术的不断发展，自然语言处理技术也取得了显著的进步。文本摘要任务是自然语言处理中的一个重要应用，它旨在从大量文本中提取出关键信息并生成简洁明了的摘要。在实际应用中，文本摘要任务具有广泛的应用场景，如新闻报道、文献综述、会议记录等。在文本摘要任务中，传统的方法主要基于词袋模型（Bag-of-Words）或统计

[论文精读]AI-Guardian: Defeating Adversarial Attacks using Backdoors

m0_52911108的博客

09-27

1234

本文提出了AI-Guardian框架，本质是让模型预测结果受到后门控制，而很难被攻击者操纵，从而抵御对抗攻击。在模型训练阶段，AI-Guardian会针对原始训练样本生成一批后门样本（经过后门处理的样本），按标签双射关系为后门样本分配对应标签，实现后门注入；在模型预测阶段，AI-Guardian先对输入数据进行后门处理，然后将其输入到模型，根据模型输出结果、标签双射关系返回对输入数据真实标签的预测结果。

Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟