小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(4)

最新推荐文章于 2024-10-09 00:00:00 发布
最新推荐文章于 2024-10-09 00:00:00 发布
阅读量898 收藏 24
点赞数 21
文章标签： transformer 深度学习 人工智能 AIGC agi
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kingsoftcloud/article/details/136092978
版权
本文详细解析Transformer模型中的自注意力机制、残差连接和Layer Normalization，阐述它们如何增强特征表征和防止梯度消失。此外，还讨论了FFN层的作用以及在输出阶段如何使用top_k策略提高模型表现力。
摘要由CSDN通过智能技术生成

终结篇了

      书接前文：小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attention is all you need(3) (qq.com)

      本章把Trasfomer剩的一点网络讲完

      上节课我们讲完了attetion的机制，我们再复习一下（这玩意就得反复看，加深记忆）

      我下面再换几张图，换个角度来看，来自于复旦的Qiu Xipeng教授的slide

      首先自注意机制它也不是Transformer才有的，实际上以前也有RNN+self-attention来解决词相关性长距离依赖问题的网络

      如下图所示，我们为了让"The weather is nice today"的"The"去判断它和其他4个词的关系，我们可以让"The"这个向量去分别跟其他每个单词的向量做内积，然后走softmax做归一化之后，

最低0.47元/天 解锁文章
周博洋K
关注
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(1)
周博洋的博客
01-10 1278
那encoder-only 和 encoder-decoder的模型可以像GPT一样训练吗，GPT的训练就是训练生成式的，也是依次的产生token，这其实对于encoder-only 和 encoder-decoder的模型是有点别扭的，并且没法并行，所以就产生了变种训练方式，采样一段文本，然后选择一个随机点将其拆分为前缀和目标部分，前缀作为输入，目标作为输出。1- GPT-3就已经拉开了跟所有其他模型的差距，别人还在争"金刚，指玄，天象"的时候，它已经率先到了陆地神仙的境界。
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(2)
yushibing717的博客
01-21 37
稀疏自编码器的目标是学习到一组稀疏的特征，这些特征可以更好地表示输入数据。当你准备训练模型之前，首先是要定义自己的词典，也就是vocb，vocb是可以由纯粹的单字构成（汉语，估计也是唯一一门的表意文字）,也可以由词组成（英语，拼音类文字，当然汉语也可以这么分），一般像Llama分词就用的BPE来分词，来支撑它的vocb，但是BPE中文用着就别扭，因为是基于字节的，也有自己写分词器的，按字来分，比如我哥们儿在做的项目就是自己做的汉字分词器，然后把5000多个汉字加入到Llama原本的vocb里面，也一样用。
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(3)
周博洋的博客
02-04 744
以上图为例，当一个句子包含4个token，进入到自注意力矩阵计算的时候，它首先要和一个生成的Wq，Wk，Wv相乘（你可以理解为，系统自动生成，实际上有3个线性层，qproj,kproj,vproj来做的），然后每个token的向量和Wq,k,v分别做点积，会算出来3个向量q,k,v（实际是生成3个矩阵，因为真实世界的输入包含batchsize等，我们先按向量来，好理解）最后我们把F(q,k)这个权重矩阵和由原始句子生成的另外一个矩阵V矩阵相乘，就得到了加入权重计算后的qkv的值，最终算出来了自注意力的值。
多模态MLLM都是怎么实现的(9)-时序LLM是怎么个事儿？
周博洋的博客
05-28 1095
TCN，另外时间步卷积，Temporal Convolutional Networks ，使用卷积网络处理时序数据，具有更好的并行计算能力，但是为啥不用它呢，其实和它对NLP的道理差不多，通过野去做东西不适合序列化的任务。讲完了，总体看其实思路并不难，冻住LLM，只用少量的时序数据就可以快速训练，但是其实我刚才也讲了，前期的数据准备工作，包括PAP是很复杂的，需要有很好的数据工程基础。第三块就是对这段给过去的数据的一个描述，主要是最大最小，均值方差，MAE，MSE啥的，普通的时序预测咋算，这个就咋描述。
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
阿利同学的博客
10-04 914
安全帽头盔检测数据集 3类 12000张 安全帽数据集 voc yolo
细说机器学习和深度学习
moandaylab
10-08 639
神经网络，也称人工神经网络。人工神经网络是一种运算模型（就是输入输出的映射），由大量的节点（或称神经元）之间相互联接构成。运算模型指的是：从输入到输出的一种映射。每个神经元里存储着若干权重（weight）、偏置（bias）和一个激活函数（activation）。输入乘上权重加上偏置，经过激活函数得到输出。激活函数用于添加一些非线性变换。神经网络通常包含一个输入层、若干隐藏层、一个输出层。输入层通常不用于计算神经网络的层数。
国创——基于分离表示的人脸图像生成技术
2301_80073593的博客
10-01 1078
根据用户的个性化需求，对分离得到的形状和纹理表示进行调整。- 在DFGA框架的几何形状生成模块中，根据输入数据（可能是经过预处理的图像特征等），使用特定的算法或模型生成人脸的几何形状。- 分离表示旨在将人脸图像分解为不同的组件，如几何形状（面部结构）、皮肤纹理（颜色、细节等）等表示形式。- 将生成的几何形状和皮肤纹理进行融合，得到最终的个性化人脸图像或者视频帧（如果是从视频序列输入）。- 定义DFGA框架中的各个模块，如数据加载模块、几何形状生成模块、皮肤纹理生成模块、融合模块等。
计算机毕业设计Tensorflow交通标志识别检测 车流量预测 车速检测 自动驾驶 机器学习 深度学习 人工智能 PyTorch 大数据毕设
最新发布
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-09 884
计算机毕业设计Tensorflow交通标志识别检测 车流量预测 车速检测 自动驾驶 机器学习 深度学习 人工智能 PyTorch 大数据毕设
基于深度学习的持续的知识积累与转移
weixin_42605076的博客
10-01 754
基于深度学习的持续知识积累与转移是指利用深度学习技术在多个任务或领域中有效地获取、更新和应用知识。这一过程能够提高模型在新任务上的性能，同时减少对大量标注数据的依赖。
深度学习的未来：推动人工智能进化的新前沿
2301_78944833的博客
10-04 1231
深度学习技术已经在多个领域展现了巨大的潜力，并正在改变我们的日常生活。从图像识别到自然语言处理，深度学习为我们带来了更加智能化的应用和服务。尽管面临数据依赖、计算资源、可解释性等挑战，但随着自监督学习、边缘计算和多模态学习等技术的不断进步，深度学习将继续推动人工智能的前沿发展，为各行各业带来更多创新和机遇。
深度学习07：PyTorch 中常见的 Tensor 创建方式与示例
2301_80744520的博客
10-05 485
通过本篇博客，你已经学会了 PyTorch 中常见的几种 Tensor 创建方式。它们在深度学习模型的构建、数据处理以及矩阵运算中都扮演着至关重要的角色。无论是初始化权重、生成随机数据，还是定义特定类型的 Tensor，都可以用这些方法高效实现。希望这篇博客能帮助你在实际项目中更好地应用 PyTorch！
RNN（循环神经网络）简介及应用
m0_73697499的博客
10-08 448
RNN作为一种处理序列数据的强大工具，已经在众多领域展现了其独特的优势。随着技术的进步，我们期待RNN及其变种能够在更多复杂的任务中发挥更大的作用。如果你对RNN感兴趣，建议深入研究其背后的数学原理及其实现细节。
【PyTorch】循环神经网络
Glass_Gun的博客
09-29 735
神经网络。
深度学习(7):RNN实战之人名的国籍预测
qq_51976556的博客
10-08 548
很显然对于每个编码数据的信息量都特别稀疏，所以表示效率过低，数据量大的时候会产生数据集加载慢，需要通过Embedding（嵌入）提高信息密度，将One-Hot编码的高维稀疏向量映射到一个更低维的密集向量中。Embedding（嵌入） 是一种用于将离散的、稀疏的数据（如单词或字符的索引）映射到连续的、稠密的低维向量空间中的技术。大多机器学习能够处理的都是数值类型的数据，所以对非数值类型的数据（如单词，类别标签），我们需要将其转换成数值类型的表示。所以数据x是文本里面的人名，标签y是文本文件的文件名。
ML 系列：机器学习和深度学习的深层次总结(14) — 逻辑回归（第 3 部分 — 实施）
gongdiwudu的专栏
10-08 639
在这篇博文中，我们将探讨如何使用 Python 和 scikit-learn 库 （sklearn） 实现逻辑回归。
YOLO11改进|注意力机制篇|引入MSCA注意力机制
A1983Z的博客
10-08 760
YOLO11中添加MSCA多尺度卷积注意力
毕业设计项目 深度学习安全帽佩戴检测(源码+论文)
Mr.D学长
10-07 468
🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的毕设题目缺少创新和亮点，往往达不到毕业答辩的要求，这两年不断有学弟学妹告诉学长自己做的项目系统达不到老师的要求。为了大家能够顺利以及最少的精力通过毕设，学长分享优质毕业设计项目，今天要分享的是🚩毕业设计 深度学习安全帽佩戴检测(源码+论文)🥇学长这里给一个题目综合评分(每项满分5分)难度系数：3分工作量：3分创新点：4分🧿 项目分享:见文末!项目包含内容一万五千字 完整详细设计论文🧿 项目分享:见文末!
java落地AI模型-cnn手写体识别
09-30 741
完成手写字体的python脚本训练和测试完成onnx模型转化完成java端使用onnx模型进行预测。
60Hz磁场对草履虫行为的瞬时影响研究
"这篇学术论文研究了60赫兹磁场对草履虫(Paramecium multimicronucleatum)行为的影响。研究发现，当草履虫暴露在0.6特斯拉的垂直磁场中时，它们会聚集在容器的上端。进一步分析游泳行为显示，磁场暴露在开始后1分钟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值