GAU的长度泛化能力问题

最新推荐文章于 2024-11-05 16:57:46 发布
最新推荐文章于 2024-11-05 16:57:46 发布
阅读量122 收藏
点赞数
文章标签： 深度学习 机器学习 人工智能
原文链接：https://kexue.fm/archives/9019
版权
当前NLP预训练模型通常在固定长度如512上训练，但在实际应用中面临长度泛化问题。文章指出GAU模型的长度泛化能力不足，提出了三种解决方案：1)预训练和微调使用相同长度；2)预训练时混合不同长度样本；3)添加归一化因子让模型自我学习。
摘要由CSDN通过智能技术生成

当前NLP主流的预训练模式都是在一个固定长度（比如512）上进行，然后直接将预训练好的模型用于不同长度的任务中。大家似乎也没有对这种模式有过怀疑，仿佛模型可以自动泛化到不同长度是一个“理所应当”的能力。笔者做了Base版的GAU实验后才发现GAU的长度泛化能力并不如想象中好。
我们可以总结出GAU的三个解决方案：

  • 一是预训练和微调都用同一个固定的n；
  • 二是依然使用动态的样本长度n，但是预训练时需要用不同长度的样本来混合训练，不能只使用单一长度的样本；
  • 三就是像Softmax那样补充上一个归一化因子，让模型自己去学。以下转载自 https://kexue.fm/archives/9019
    在这里插入图片描述
taoqick
关注
GAU-α：尝鲜体验快好省的下一代Attention
Paper weekly
04-27 1807
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络在FLASH：可能是近来最有意思的高效Transformer设计中，我们介绍了 GAU（Gated Attention Unit，门控线性单元），在这里笔者愿意称之为“目前最有潜力的下一代 Attention 设计”，因为它真正达到了“更快（速度）、更好（效果）、更省（显存...
听说Attention与Softmax更配哦～
Paper weekly
04-09 591
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络不知道大家留意到一个细节没有，就是当前 NLP 主流的预训练模式都是在一个固定长度（比如 512）上进行，然后直接将预训练好的模型用于不同长度的任务中。大家似乎也没有对这种模式有过怀疑，仿佛模型可以自动泛化到不同长度是一个“理所应当”的能力。当然，笔者此前同样也没有过类似的...
探索未来编码新可能：Gau - 一个高效、智能的代码生成器
gitblog_00009的博客
03-22 373
探索未来编码新可能：Gau - 一个高效、智能的代码生成器 gau项目地址:https://gitcode.com/gh_mirrors/ga/gau 项目简介 是一个强大的代码生成工具，旨在简化开发过程，提高开发效率。它利用先进的自然语言处理（NLP）和机器学习技术，将开发者的需求转换为高质量的源代码。只需简单描述你的需求，Gau 就能自动生成对应的代码片段，让你可以更专注于业务逻辑而非重复性...
GAU : Transformer Quality in Linear Time(new attention+)
ResumeProject的博客
05-08 2238
添加链接描述
用于图像语义分割的GAU与PPM
panghuzhenbang的博客
07-22 3085
PPM、GAU
线性 Transformer变长思路汇总Dilated Sliding window、LongFormer、BigBird、LongNet、Reformer、cosFormer、GAU、RWKV
taoqick的专栏
03-03 1272
线性 Transformer变长思路汇总Dilated Sliding window、LongFormer、BigBird、LongNet、Reformer、GAU、RWKV
位置编码与外推性[bias(Alibi/KERPLE/Sandwich)+插值 + ROPE/RERope + keynorm。与长度外推性]
weixin_36378508的博客
09-21 2783
长度外推性=train short, test longtrain short：1）受限于训练成本；2）大部分文本的长度不会特别长，训练时的max_length特别特别大其实意义不大（长尾）。test long：这里long是指比训练时的max_length长，希望不用微调就能在长文本上也有不错的效果。
遗传算法GA-LSTM-优化神经网络神经元个数-dropout-batch_size
机器学习、深度学习、强化学习、迁移学习
08-01 2499
本文主要讲解使用遗传算法GA-LSTM-优化神经网络神经元个数-dropout-batch_size
谷歌Quoc V. Le团队新作FLASH：高效Transformer新设计！训练成本暴减！
阿木寺的博客
02-28 1062
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转正自：机器之心 | 编辑：泽南、杜伟谷歌的新研究，让 transformer 模型的效率有了巨大提升，该方法的核心在于...
Gau_Seid.rar_gau matlab_matlab gauss例子_高斯赛德尔
07-15
这个压缩包“Gau_Seid.rar_gau matlab_matlab gauss例子_高斯赛德尔”包含了用MATLAB语言实现的高斯-赛德尔迭代算法的具体实例，主要包含一个名为“Gau_Seid.m”的MATLAB脚本文件和一个可能是源代码注释或参考资料的...
GAU Install，for me
04-01
GAU Install可能会涉及到集群管理的问题，例如如何管理集群节点、如何配置集群网络等问题。 产品描述知识点 产品描述是指对GAU产品的概述和定位。该描述可能会涉及到GAU产品的功能、性能和应用场景等信息。 该文档...
GAU-SEMESTER-IV
03-31
本资源“GAU-SEMESTER-IV”似乎是一个教育相关的项目或课程资料，可能涵盖了C#语言的核心概念和技术，适用于学习者或者在第四学期（SEMESTER-IV）的学生。这里我们将深入探讨C#的一些关键知识点。 1. **C#基础语法*...
BodyOkra.OneGreen.gau64CA
03-18
【标题】"BodyOkra.OneGreen.gau64CA" 提示我们可能正在处理一个特定的软件或应用程序，其中“BodyOkra”可能是程序或项目的名称，“OneGreen”可能代表版本号或者是项目的一个特色，而“gau64CA”可能是该版本的...
ParamountMica.FrumptiousThe.gaU0EBU
03-19
【标题】"ParamountMica.FrumptiousThe.gaU0EBU"可能是一个特定项目或软件的命名，但它本身并没有直接提供关于IT知识的具体信息。不过，考虑到它与【描述】完全一致，我们可以推测这可能是一个文件夹或项目的名称，...
《常用深度学习神经网络及其原理与应用场景》
m0_44975814的博客
11-02 1171
*常见损失函数**：损失函数用于衡量模型的预测结果与真实标签之间的差异。对于分类任务，常用的损失函数有交叉熵损失函数和对数似然损失函数等；对于回归任务，常用的损失函数有均方误差损失函数和平均绝对误差损失函数等。**自定义损失函数**：在某些情况下，可能需要根据具体的任务需求自定义损失函数。例如，在图像分割任务中，可以定义一个基于像素级别的损失函数以更好地衡量模型对图像的分割效果。
深度学习：从神经网络到人工智能的飞跃
Pioneer00001的博客
10-31 369
深度学习作为人工智能的核心技术，正在深刻改变我们的生活和工作方式。通过不断的技术创新和应用拓展，深度学习将在更多领域展现出其强大的潜力。未来，随着技术的进一步发展，深度学习将继续引领人工智能的革命，推动社会的智能化进程。希望这篇文章能够帮助大家更好地了解深度学习，激发对这一领域的兴趣和探索。
《Keras3 深度学习初探：开启Keras3 深度学习之旅》
zheng_ruiguo的专栏
11-01 792
Keras3 以其易于使用、模块化和高度可扩展性等特点，为深度学习开发者提供了强大而灵活的工具。无论是新手还是经验丰富的专家，都能在 Keras3 中找到适合自己的开发方式，实现创新和突破。Keras3 作为一个强大的深度学习框架，具有巨大的发展潜力。在未来，它将继续为深度学习开发者提供强大的工具，推动深度学习技术的不断发展和应用。
【深度学习】batchsize太大或太小的优缺点，如何平衡batchsize大小
最新发布
qq_42761751的博客
11-05 218
batchsize的值越大，梯度越稳定，而batchsize越小，梯度越具有随机性，如果batchsize太大，对内存的需求就更高，不利于网络跳出局部极小值点。大的batchsize梯度的计算更加稳定， 在微调的时候，大的batchsize可能会取得更好的结果，因为在一定范围内，batchsize越大，梯度下降方向越准，引起的震荡越小。当 batch size 增大时，每个批次中需同时加载的样本数增多，导致内存占用成倍增长，这会影响硬件资源的利用，特别是在 GPU 上。
深度学习之激活函数
weixin_43775295的博客
10-30 1138
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
深度学习中GAU门注意力
05-13
GAU (Gated Attention Unit) 注意力是深度学习中常用的一种注意力机制，它可以在对输入进行注意力加权时，同时考虑到输入的语义信息和位置信息，从而更好地捕捉输入序列的重要特征。 GAU 注意力的核心思想是将输入...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值