树状结构搜索功能_ICLR 2020 高分论文！利用稀疏多层次Transformer结构获取语法树！...

最新推荐文章于 2025-05-10 20:22:42 发布
最新推荐文章于 2025-05-10 20:22:42 发布
阅读量260 收藏
点赞数
文章标签： 树状结构搜索功能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42361611/article/details/112704856
版权
本文提出了一种新型的Combiner模型，它改进了Transformer架构，通过稀疏注意力门和层次注意力块，从自然语言中学习树状结构，增强了模型的可解释性和性能。在Search Session Understanding任务和无监督的PTB数据集实验中，Combiner模型表现出优于BERT的性能，展示了深度学习在捕捉自然语言结构方面的潜力。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

6112ebc347d7bac0e1d9cbc1148b6bdb.png

一、背景介绍

自从Tansformer结构提出以来，以BERT以代表的模型横扫NLP领域的各个任务。然而，Transformer中密集的注意力机制无法利用自然语言中的内在结构。这篇文章提出了一种新的Transfomer架构—Combiner模型，可以从自然语言中学习树状结构的注意力模式，从而增强了模型的可解释性。

二、方法介绍

传统的Transfomer中使用Self-attention机制对词向量进行了融合，获取了更多的上下文信息。例如：给定输入词向量为H，将词向量H 映射到三个空间Q，K，V，并通过如下公式1来计算注意力分值。

ee56f2977a03ede8b38097669be7415e.png
公式（1）

为了克服传统Transfomer中的密集输出，该文章提出了一种稀疏多层次的Transformer结构。它包含两个模块Sparse attention gate以及Hierarchical attention block。其中，Sparse atte

最低0.47元/天 解锁文章
《YOLOv8改进实战专栏》专栏介绍 & 专栏目录 《提供 YOLOv8-Magic 私域代码框架/本人7次贡献过YOLOv8官方项目》
YOLOv8项目贡献者
06-30 8万+
《YOLOv8改进实战专栏》🏅🏅🏅专栏介绍 & 专栏目录
理解BERT：多层次 transformer 的ERNIE 3.0
AI天才研究院
08-21 452
作者：禅与计算机程序设计艺术 1.简介 自然语言处理（NLP）技术一直处于一个蓬勃发展阶段，在过去十几年中，已经取得了令人吃惊的成果。但是，深度学习技术发展到现在也给 NLP 技术带来了新机遇。近些年，随着卷积神经网络（CNN）等深度学习模型的不断提升，自然语言处理技术已经形成了一套全新的计算机视觉、文
《TreeGen A Tree-Based Transformer Architecture for Code Generation》论文笔记
weixin_43719948的博客
05-10 1022
1、 依赖于神经网络的代码生成器有两个问题： （1）长期依赖问题，一个代码元素经常依赖于另一个遥远的代码元素； （2）结构建模问题。 2、TreeGen的特点： （1）TreeGen使用“Transformer”的attention机制来缓解长期依赖问题； （2）并引入AST reader将语法规则和AST（抽象语法树）结构相结合； （3）准确性、时间效率比CNN和RNN等神经模型要高，但是在实验二语义解析这一实验中，准确性明显比传统方法WKZ14差； （4）指标有三：StrAcc、BLEU score、A
Swin Transformer：层次化视觉Transformer
Change ZH的博客
07-05 1440
Swin Transformer：层次化视觉Transformer
TGRS-2024 | 基于多层次多模态融合Transformer的遥感语义分割
Python_cocola的博客
03-06 1496
准确的遥感数据语义分割对地球科学研究和应用的成功至关重要。近年来，基于多模态融合的分割模型因其相比传统单模态技术的卓越性能而备受关注（研究背景）。然而，大多数现有模型采用卷积神经网络（CNN）或视觉Transformer（ViT）进行融合操作，导致局部-全局上下文建模能力和表征能力不足（现有研究的不足）。为此，本文提出了一种名为FTransUNet的多层次多模态融合方案，通过将CNN和ViT整合至统一融合框架，为语义分割构建鲁棒有效的多模态融合主干网络。
【多层交叉transformer：高光谱和多光谱图像融合】
热门推荐
weixin_43690932的博客
03-07 1万+
仅供自己参考
Lucene中Query语法树的整理
远超的blog
03-27 1178
备忘: Lucene中Query语法树的整理代码为QueryParser.jj，语法为JavaCC实现的LL()：完整文档：http://lucene.apache.org/java/2_0_0/queryparsersyntax.html和正则一样：?表示0个或1个+表示一个或多个*表示0个或多个以下是Token部分：_NUM_CHAR::=["0"-"9"] //数字_ESCA
Primer: 针对语言模型的Transformer模型结构搜索
Kaiyuan_sjtu的博客
11-01 1000
在我们之前的文章中，我们曾介绍过遗传算法在卷积模型结构搜索和Transformer结构搜索中的应用。如下：AutoML - 遗传算法与网络结构搜索Transformer + AutoML:...
AIGC内容修复技术对比：GAN vs. Transformer
最新发布
大模型应用工坊
05-10 592
AIGC(人工智能生成内容)修复技术是数字内容处理领域的重要研究方向，旨在利用AI算法自动修复受损或缺失的文本、图像、视频等内容。本文聚焦于对比分析两种最具代表性的AIGC修复技术：基于生成对抗网络(GAN)的方法和基于Transformer架构的方法。文章首先介绍背景知识，然后深入分析GAN和Transformer的核心原理，接着通过实际案例对比两种技术的表现，最后讨论应用场景和未来趋势。AIGC: 人工智能生成内容，指利用AI算法自动生成或修复数字内容GAN。
ICLR 2025 | 计算量仅DiT一半!中山大学&360 AI研究院开源Qihoo-T2X:统一架构搞定T2X任务
AIGCer的博客
02-16 789
论文地址：https://arxiv.org/pdf/2409.04005项目主页：https://360cvgroup.github.io/Qihoo-T2X代码仓库：https://github.com/360CVGroup/Qihoo-T2X：论文一作为来自中山大学的博士生王晶；论文共同一作和项目leader为来自360 AI Research视频生成方向的负责人马傲。
视觉Transformer：图像识别的新视角 （Vision Transformer: A New Perspective for Image Recognition）
qq_35480722的博客
03-07 578
本文展示了直接将Transformer应用到图像识别中的可行性，特别是通过大规模预训练显著提高了其在复杂图像识别任务上的性能。这为未来在计算机视觉中的应用提供了新的方向。目标: 将Transformer架构直接应用于图像识别任务，而不需要依赖卷积神经网络(CNN)。主要贡献: 证明了纯Transformer可以直接处理图像patch序列，并在大规模预训练后取得优秀的图像分类性能，同时在计算资源需求上优于传统CNN。应用场景。
Transformer系列：Detection--＞ Deformable DETR (ICLR2021)
weixin_34992700的博客
06-10 1521
文章地址：https://arxiv.org/pdf/2010.04159.pdf
万字长文带你一览ICLR2020最新Transformers进展
郝伟老师的博客——大数据、并行计算与人工智能时代
06-25 550
文章目录1. Self-atention 的变体Long-Short Range AttentionTree-Structured Attention with Subtree MaskingHashed AttentioneXtra Hop Attention2. 训练目标Discriminative Replacement TaskWord and Sentence Structural TasksType-Constrained Entity Replacement3. EmbeddingsPosit
根据文法画出语法树_输入语法推断的强化学习
weixin_39969448的博客
11-27 162
引用：Wu Z, Johnson E, Yang W, et al. REINAM: reinforcement learning for input-grammar inference[C]. foundations of software engineering, 2019: 488-498.摘要：程序输入语法有助于软件工程中的各种应用，例如符号执行和增量调试。通过现有方法合成的文法只能覆盖有...
ACL 2020 | 基于不同硬件搜索更好的Transformer结构
Paper weekly
08-15 440
论文标题：HAT: Hardware-Aware Transformers for Efficient Natural Language Processing论文作者：Hanrui Wa...
论文赏析[EMNLP19]如何在Transformer中融入句法树信息？这里给出了一种解决方案
算法码上来
01-07 1106
论文地址：Tree Transformer: Integrating Tree Structures into Self-Attention 介绍 之前其实有很多工作将句法信息融入到了RNN中，例如ON-LSTM和PRPN，用来隐式建模句法结构信息，同时提升语言模型的准确率。本文尝试将句法信息融入到Transformer中，用来赋予attention更好的解释性。同时可以无监督的预测出句子的句法...
大模型Transformer架构详解
qianggezhishen的专栏
08-07 2695
Transformer最初是为了解决序列转换问题或神经机器翻译而开发的，这意味着它们旨在解决将输入序列转换为输出序列的任何任务。这就是为什么它们被称为“Transformer”。最初设计用于序列转换或神经机器翻译任务，Transformer模型在将输入序列转换为输出序列方面表现出色。它是首个完全依靠自注意力机制来计算其输入和输出的表示，而无需依赖于序列对齐的RNN或卷积网络的第一个转换模型。
Hierarchical Transformers for Multi-Document Summarization
北风吹过的秋
05-03 1464
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/YZsLAxC7haqdzlrG4rgnLw 《 Hierarchical Transformers for Multi-Document Summarization 》 爱丁堡大学信息学院语言认知与计算研究所(Yang Liu & Mirella Lapata) yang.liu2@ed.ac.ukmlap@inf.ed.ac.uk ...
[论文阅读] (16)Powershell恶意代码检测论文总结及抽象语法树（AST）提取
杨秀璋的专栏
03-15 6866
《娜璋带你读论文》系列主要是督促自己阅读优秀论文及听取学术讲座，并分享给大家，希望您喜欢。前一篇介绍分享英文论文审稿意见及应对策略的学习笔记。这篇文章将简单总结Powershell恶意代码检测相关研究，并结合开源工具分享抽象语法树提取过程。希望这篇文章对您有所帮助，这些大佬是真的值得我们去学习，献上小弟的膝盖~fighting！
基于vision transformer目标检测的改进
03-18
基于Transformer的目标检测算法近年来取得了显著进步，尤其是谷歌在ICLR2020上提出的ViT（Vision Transformer）开创了将Transformer引入视觉领域的新纪元[^1]。然而，在实际应用中，直接使用原始ViT进行目标检测面临...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值