【机器学习笔记 Day3】什么是transformer？什么是注意力机制？

最新推荐文章于 2024-07-08 21:41:09 发布
最新推荐文章于 2024-07-08 21:41:09 发布
阅读量292 收藏 6
点赞数 5
文章标签： 机器学习 笔记 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41803631/article/details/136357915
版权
本文介绍了注意力机制，特别是Self-Attention和Multi-HeadAttention在处理输入序列关系中的应用，以及Transformer模型如何利用这些机制，重点讲解了高斯核和注意力分数的概念。链接提供了进一步学习的资源。
摘要由CSDN通过智能技术生成

机器学习笔记Day 3

一、注意力机制（Attention）

注意力机制中，函数α是任意能刻画相关性的函数，但是需要归一化。

*高斯核：一种非线性核函数，高斯核函数的作用是衡量两个数据点之间的相似性，距离越近则相似性越高，距离越远则相似性越低。当输入数据点距离足够接近时，高斯核函数的值接近于1；当输入数据点之间的距离较远时，高斯核函数的值接近于0。
在这里插入图片描述

*注意力分数：表示在一个序列中不同位置的元素对于模型预测的重要程度或权重。这些关联程度可以通过不同的方法计算，常见的方法包括点积注意力、加性注意力等。

注意力权重为注意力分数的归一化。
在这里插入图片描述

Self-Attention—只关注输入序列之间的关系

Q请求矩阵、K键矩阵、V值矩阵都是同样的X矩阵，并且可能会对X矩阵做不同的线性变换。
在这里插入图片描述
在这里插入图片描述

Multi-Head Attention

基于自注意力，使用多种矩阵变换生成不同的Q、K、V，最后综合不同的相关性结论，增强自注意力的效果。

二、 Transformer模型

引用

  1. 链接: B站—注意力机制
  2. 链接: B站—自注意力机制
飞翔的雪人
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
白话transformer（一）：注意力机制
Andy_shenzl的博客
03-04 1687
前面我们分篇讲述了transformer的原理，但是对于很多刚接触transformer的人来说可能会有一点懵，所以我们接下来会分三篇文章用白话的形式在将transformer 讲一遍。前文链接注意力机制其实最大的作用就是对词嵌入也就是embedding的优化，下面我们来看下是怎么做到的。
『大模型笔记』Cohere的联合创始人Nick Frosst谈：AGI真的只是幻想吗？
AI新视界
06-17 69
AGI（通用人工智能）的立场技术应用和现实世界问题Cohere公司及其活动Command-R模型及其功能检索增强生成（RAG）创始团队的背景工具使用的演变哲学探讨建设日活动开发者指导数据获取和准备多语言支持数据科学与软件工程的角色模型的未来发展技术成熟度和基准测试开源工具包。
【李宏毅】注意力机制+transformer详解
m0_51474171的博客
11-06 7329
详细讲解自注意力机制的计算，Encoder和Decoder部分的每一个模块
一文彻底搞懂Transformer - 注意力机制
最新发布
m0_59164304的博客
07-08 1458
*
【Transformer系列（2）】注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制超详细讲解
热门推荐
路人贾的博客
04-17 8万+
一文带你读懂注意力机制、自注意力机制、多头注意力机制、通道注意力机制、空间注意力机制，超详细的讲解，小白也能看得懂！
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
qq_38253797的博客
10-26 2万+
transformer原理
Transformer中的注意力机制
yiwangfl的博客
04-13 1351
注意力机制通过赋予模型对不同部分的关注程度来提高模型的表现力，而Transformer模型则利用多头注意力机制来捕捉输入序列的不同方面的信息。通过计算查询向量和键向量之间的相似度，得到每个键向量对于查询向量的权重，然后将这些值作为值向量的权重，进行加权求和，得到最终的向量表示。这种方法可以捕捉到输入序列的不同方面的信息，提高模型的表现力。在自然语言处理领域中，注意力机制通常应用于文本序列上，它可以将一个文本序列中的每一个词都映射为一个向量，然后对向量进行加权求和，以生成一个代表整个文本序列的向量表示。
学习笔记：机器学习day2
Rick_Restart的博客
04-21 727
一、sklearn数据集与估计器 1.sklearn数据集 1.数据集划分 一般划分两部分 训练集：用于训练，构建模型 （70%，75%，80%） 测试集：在模型检验时使用，用于评估模型是否有效 （30%，25%，20%） 一般划分75%，25%比较好 API sklearn.model_selection.train_test_split - sklearn.datasets 加载获取流行...
NLP教程笔记：Transformer 将注意力发挥到极致
nanke_4869的博客
02-06 1033
NLP教程 TF_IDF 词向量 句向量 Seq2Seq 语言生成模型 CNN的语言模型 语言模型的注意力 Transformer 将注意力发挥到极致 目录NLP教程语言多次注意力Transformer注意力模型全都是注意翻译代码结果讨论全部代码可视化 语言多次注意力 如果哪天有一位异性好友对你表白的回复是：“你人很好，很感谢有你的陪伴”。情场新手刚上车，第一眼看起来，好像是这个女生再夸我，激动得我眼泪要掉下来。带着这句话，让我一天都有好心情。可是当我吃完饭，再回想起她说我“人很好”，“感谢”我，这句话
机器学习算法+代码
指针的博客
11-19 3491
机器学习 一、概述 1、机器学习研究方向 传统预测 图像识别 自然语言处理 2、数据集构成 数据集 = 特征值+目标值 监督学习： 目标值为类别 属于分类问题 目标值为连续数据 属于回归问题 无监督学习 无目标值 3、机器学习流程 获取数据 数据处理 特征工程 机器学习模型-训练模型 模型评估 应用 4、书籍、框架 机器学习 深度学习 数集 西瓜书–周志华 花书 框架 sklearn theano、caffe2、chainer 数据集 sklearn、kag
Transformers 介绍
11-24 1392
instead!根据你的应用程序，你所使用的文本可以是法律合同、产品描述，或者完全是其他的东西。假设是客户反馈的情况下，你可能会想知道这些反馈是积极的还是消极的。这个任务被称为情绪分析，是我们将在第二章中探讨的更广泛的文本分类主题的一部分。现在，让我们来看看如何使用 Huggingface Transformers 从我们的文本中提取情感。文本摘要的目标是**以一个长文本作为输入，并生成一个包含所有相关事实的简短版本。**这是一项比之前的任务要复杂得多的任务，因为它需要模型来生成连贯的文本。
【万字长文】深度解析 Transformer 和注意力机制（含完整代码实现）
略懂……略懂……
05-25 1万+
本文几乎涵盖了关于 Transformer 和注意力机制的所有必要内容，包括自注意力、查询、键、值、多头注意力、掩码多头注意力和 Transformer 架构，以及完整的PyTorch实现。 希望阅读完本文大家对 Transformer 能有深入的理解。
注意力机制（五）：Transformer架构原理和实现、实战机器翻译
qq_51957239的博客
03-25 3372
注意力机制（Attention Mechanism）是一种人工智能技术，它可以让神经网络在处理序列数据时，专注于关键信息的部分，同时忽略不重要的部分。在自然语言处理、计算机视觉、语音识别等领域，注意力机制已经得到了广泛的应用。注意力机制的主要思想是，在对序列数据进行处理时，通过给不同位置的输入信号分配不同的权重，使得模型更加关注重要的输入。例如，在处理一句话时，注意力机制可以根据每个单词的重要性来调整模型对每个单词的注意力。这种技术可以提高模型的性能，尤其是在处理长序列数据时。在深度学
一文搞懂 Transformer 中的三种注意力机制
机器学习社区
05-16 1591
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。《Attention is All You Need》3.2.3 注意力机制的应用Transformer使用多头注意力机制的三种不同方式如下：在“编码器-解码器注意力”层中，查询来自前一层解码器，而记忆键和值则来自编码器的输出。这使得解码器中的每个位置都能关注输入序列中的所有位置。
注意力就是你所需的一切 - Transformer 最全详细解读
晨的博客
03-08 1761
Transformer 模型自2017年由Vaswani等人在论文《Attention is All You Need》中提出以来，已经彻底改变了序列处理任务，尤其是在自然语言处理（NLP）领域。这个模型背后的核心思想是“自注意力机制”，它允许模型在处理序列数据时，同时关注序列中的所有位置，这与以往的循环神经网络（RNN）和卷积神经网络（CNN）形成对比，后者通常会按顺序或局部地处理信息。本文详细介绍了Transformer的全部流程，并对关键问题进行解读。
注意力机制 - Transformer
yingzi的技术博客
09-13 3556
与 10.4.1中基于Bahdanau注意⼒实现的序列到序列的学习相⽐，transformer的编码器和解码器是基于⾃注意⼒的模块叠加⽽成的，源（输⼊）序列和⽬标（输出）序列的嵌⼊（embedding）表⽰将加上位置编码（positional encoding），再分别输⼊到编码器和解码器中。值得注意的是，解码器的⾃注意⼒权重和“编码器－解码器”的注意⼒权重都有相同的查询：即以序列开始词元（beginning-of-sequence,BOS）打头，再与后续输出的词元共同组成序列。
详解注意力机制和Transformer
zyw2002的博客
01-31 9642
本文的学习路线： 📍 Attention 从生物学的角度引入到计算机视角，介绍了什么是Attention ▶️介绍Encoder-Decoder框架 (目前大部分Attention Model都是依附于该框架实现)▶️ 介绍了Attention模型中的基础概念查询、键和值 ▶️ 通过讲解Nadaraya-Watson核回归模型来了解常见的注意力汇聚模型 ▶️ 介绍了Attention Model中两个常用的注意力评分函数 ▶️ 从基础的Attention引入到Self-Attention 和Multihe
翻译: 详细图解Transformer多头自注意力机制 Attention Is All You Need
AI架构师易筋
09-02 4万+
它们是用于计算和思考注意力的抽象概念。一旦你继续阅读下面的注意力是如何计算的，你就会知道几乎所有你需要知道的关于每个向量所扮演的角色。计算self-attention的第二步是计算一个分数。假设我们正在计算本例中第一个单词“Thinking”的自注意力。我们需要根据这个词对输入句子的每个词进行评分。当我们在某个位置对单词进行编码时，分数决定了对输入句子其他部分的关注程度。分数是通过查询向量与我们正在评分的各个单词的关键向量的点积来计算的。因此，如果我们正在处理位置#1中单词的自注意力，第一个分数将是q。
机器学习&&深度学习——transformer（机器翻译的再实现）
m0_52380556的博客
08-17 1427
机器学习&&深度学习——transformer（机器翻译的再实现）
深度学习笔记：机器翻译、注意力机制与Transformer详解
深度学习在机器翻译领域具有重要的地位，本笔记主要涵盖了机器翻译及相关技术、注意力机制与seq2seq模型，以及Transformer模型的学习内容。首先，我们从机器翻译的基础开始，理解SequencetoSequence模型（简称Seq2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值