干货！用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers

于 2022-05-07 08:30:00 发布
阅读量2.4k 收藏 17
点赞数
文章标签： 人工智能 算法 机器学习 大数据 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AITIME_HY/article/details/124642385
版权

点击蓝字

d4774cbec0aa93e586ee448491fe8ba2.png

关注我们

AI TIME欢迎每一位AI爱好者的加入！

a0d9965c5181af3ddae35bb4298db6a1.gif

本期AI TIME PhD直播间，我们邀请到微软亚洲研究院与中国科学技术大学联合培养在读博士生——杨俊涵，为我们带来报告分享《用于文本图表示学习的GNN嵌套Transformer模型：GraphFormers》。

f9684cbafd410e79b897ccb29b8ffd0d.png

杨俊涵：

微软亚洲研究院与中国科学技术大学联合培养在读博士生，主要研究方向为推荐系统、信息检索、文本表示学习。

be76e5a86ec644775f2a66956922b09b.png

            文本图上的表示学习

最低0.47元/天 解锁文章
AITIME论道
关注
  • 0
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
论文解读 | ICML2024：突破Transformer上下文学习中的瓶颈
07-19 597
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！作者简介付靖文，西安交通大学博士生简介 上下文学习，即从上下文示例中学习，是Transformer一项令人印象深刻的能力。然而，由于学习瓶颈的出现——在训练过程中模型的上下文学习能力几乎没有或没有提升的时期——训练Transformer具备这种上下文学习技能是计算密集型的。为了研究学习瓶颈背后的机制，我们在概念上将模型内部表征中一个完全受模...
博客
ACL 2024 来自16所高校25位讲者直播分享继续 | 7月24日-25日
07-18 94
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！往期精彩文章推荐记得关注我们呀！每天都有新知识！关于AI TIMEAI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀...
博客
ICML2024 | TimeSiam: 时间序列的孪生预训练方法
07-17 143
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文介绍清华大学软件学院机器学习组ICML2024时间序列表征学习方向的最新工作：TimeSiam: A Pre-Training Framework for Siamese Time-Series Modeling摘要：时间序列预训练因其可以有效减少标注成本并有益于各种时序分析任务而引起了广泛的关注。本文提出了一种名为TimeSiam的...
博客
大模型知识机理与编辑专场 | 7月23日 19:00直播
07-16 179
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！AITIME01活动信息AITIME02讲者信息曹鹏飞大模型知识运用与推理机制研究中国科学院自动化研究所助理研究员，2023年博士毕业于中国科学院自动化研究所。主要研究方向为自然语言处理、大语言模型和信息抽取，近年来在AAAI、ACL、EMNLP、COLING等人工智能与自然语言处理领域国际重要学术会议上发表论文30余篇，担任ACL、EMN...
博客
论文解读 | ICML2024：BiLLM：推进大型语言模型后训练量化的极限
07-15 227
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！黄炜香港大学博士生概述 BiLLM：推进大型语言模型后训练量化的极限预训练的大型语言模型（LLMs）在语言处理方面表现出色，但对内存和计算资源的需求非常高。二值化作为一种强大的压缩技术，可以将模型权重极大地减少到仅1位，从而降低昂贵的计算和内存需求。然而，现有的量化技术在超低位宽下难以保持LLM的性能。为应对这一挑战，我们提出了BiLLM，...
博客
7月16日13:30 | ACL 2024 5个实验室专场直播开启
07-14 280
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！往期精彩文章推荐本场直播回放已上传至AITIME论道 bilibili记得关注我们呀！每天都有新知识！关于AI TIMEAI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，...
博客
Big Model Weekly | 第29期
07-13 338
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！01Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models支持语音的基础模型，无论是基于灵活语音识别的系统还是音频提示的大型语言模型（LLM），都变得越来越流行。这些模型的一个有趣的方面是，它们能够使用适当...
博客
​CVPR 2024 | 迁移预训练生成模型中的知识到边缘小模型
07-12 384
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文介绍的是一篇收录于 CVPR 2024 的论文。为了解决某个机构或边缘设备上数据缺乏的问题，一方面我们通过联邦学习获得来自所有参与设备的任务相关的共享知识；另一方面我们将该共享知识作为预训练生成模型（如 Stable Diffusion）的输入来生成任务相关的全局数据；最后我们将生成的数据传输到机构或边缘设备上并通过额外的有监督学习任务...
博客
ACL 2024已邀5个实验室团队及18位讲者｜最新议程
07-11 412
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！往期精彩文章推荐记得关注我们呀！每天都有新知识！关于AI TIMEAI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。迄今为止，AI TIME已经邀...
博客
7月12日19:00 | NAACL 2024 杰出论文奖：解锁大语言模型中的涌现模块化
07-10 462
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！AITIME01活动信息AITIME02讲者信息邱子涵毕业于清华大学姚班，研究兴趣集中在以混合专家网络为代表的模块化网络，希望实现高效、可控、可解释的网络设计，同时将模块化网络的优势迁移到标准网络中。黄泽宇本硕毕业于北京航空航天大学，目前爱丁堡大学博士在读，师从 Ivan Titov。目前研究主要关注神经网络中的模块化特征，模块化神经网...
博客
AAAI 2024 | 上交等提出自适应间距强化对比学习，增强多个模型的分类能力
07-08 560
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文介绍的是我们的一篇收录于 AAAI 2024 的论文，主要考虑的是数据异质和模型异构场景下的联邦学习框架。在异构联邦学习中，由于模型架构不同，传统联邦学习中的参数聚合方法不再适用，取而代之的是基于知识蒸馏的知识共享方法。在这些方法中，我们关注不引入额外数据集的（data-free）这一类方法。这类方法普遍通过共享类别表征向量（proto...
博客
青年之声，未来之问 | WAIC 2024“未知边界”大模型青年学者说论坛圆满落幕
07-06 677
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！中国 ·上海WAIC 2024“未知边界”大模型青年学者说论坛随着人工智能技术的迅猛发展，大模型技术正逐渐成为推动科技进步和产业革新的重要驱动力。目前，大模型在自然语言处理、图像生成、智能体等领域展现出强大能力，在各类应用场景中发挥着重要作用。然而，尽管大模型已经取得显著进展，其在多模态集成、应用框架设计、创新应用及对齐评测等方面仍存在诸多...
博客
CodeGeeX第四代模型正式发布，同期开源！
07-05 912
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！CodeGeeX是智谱AI旗下的代码生成大模型，2022年9月发布第一代模型，以每半年更新一代模型的迭代速度不断进化，致力于探索大模型代码生成能力的上限。基于模型打造的CodeGeeX智能编程助手，不仅支持代码补全、代码注释、代码修复、代码翻译等基础功能，还支持联网代码问答、代码解释器、检索增强等进阶实用功能。CodeGeeX对个人用户完全...
博客
WAIC 2024 | GLM-新一代基座大模型技术前沿与产业应用论坛：从理论到实践，推动多领域智能化协作与升级...
07-05 701
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！中国 ·上海WAIC 2024GLM-新一代基座大模型技术前沿与产业应用论坛在全球数字化和智能化转型的浪潮中，大模型技术正迅速成为推动行业变革的新引擎。7月5日下午，GLM-新一代基座大模型技术前沿与产业应用论坛在2024世界人工智能大会成功举办。本次论坛由清华大学计算机系知识工程实验室主办，AI TIME承办，东浩兰生（集团）有限公司和智...
博客
Big Model Weekly | 第28期
07-04 733
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！01Applying LLMs for Rescoring N-best ASR Hypotheses of Casual Conversations: Effects of Domain Adaptation and Context Carry-over大语言模型（LLM）已成功应用于自动语音识别（ASR）假设的再评分。然而，他们的能力r...
博客
ALI-Agent: 基于智能体的LLMs对齐性评测
07-03 781
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！本文围绕大语言模型（LLMs）的对齐问题展开，旨在解决当前模型在与人类价值观存在偏差时可能面对的风险。我们提出了ALI-Agent评估框架，利用LLM驱动的智能体(LLM-empowered agents) 进行全面且深入的对齐评估。代码：https://github.com/SophieZheng998/ALI-Agent.git论文地址...
博客
S-DPO: 基于直接偏好优化（DPO）进行推荐大模型微调的探索
07-02 842
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！近日，来自新加坡国立大学等机构的研究者探索了直接偏好优化在推荐大模型场景下的应用，并提出Softmax-DPO （S-DPO），对Softmax采样策略与DPO的结合进行了深入探究。代码：https://github.com/chenyuxin1999/S-DPO论文地址：https://arxiv.org/abs/2406.09215AI...
博客
论文解读 | ICML2024：大型语言模型知识编辑中的邻近扰动与APP缓解方法
07-01 895
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！作者简介马君瑜，中国科学技术大学博士生论文标题Neighboring Perturbations of Knowledge Editing on Large Language Models论文链接：https://arxiv.org/pdf/2401.17623代码链接：https://github.com/mjy1111/PEAKAIT...
博客
WAIC 2024 报名 | “未知边界”大模型探索未来——大模型青年说论坛
06-30 941
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！中国 ·上海WAIC 2024“未知边界”大模型探索未来——大模型青年说论坛2024年7月6日14:00 上海世博中心随着人工智能技术的快速发展，大模型已经成为引领科技进步和产业变革的重要驱动力。大模型不仅在自然语言处理、图像生成等领域展现出强大的能力，还在医疗、金融、制造等行业中发挥着越来越重要的作用。然而，大模型的潜力尚未完全发掘，其在...
博客
Big Model Weekly | 第27期
06-29 960
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！01Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models大规模语言模型（LLMs）的一个核心能力是遵循自然语言指令。然而，如何在不依赖人工标注的情况下自动构建高质量的训练数据，以增强LL...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值