SFFAI 80 X CRIPAC报名通知 | 文本表示专题

SFFAI 合作机构 CRIPAC 简介

智能感知与计算研究中心（www.cripac.ia.ac.cn）为中科院自动化研究所独立建制的科研部门，致力于研究泛在智能感知理论与技术以及与之相伴的海量感知数据的智能分析与处理。瞄准国际学科前沿，面向国家公共安全、智能产业发展等重大战略需求，着眼于基础理论创新与关键技术突破以及系统解决方案的研制，努力打造成为国际一流的研究中心，是集人才培养、技术创新、产业孵化为一体的创新平台。中心目前主要在多模态智能计算、生物识别与安全、生物启发的智能计算、智能感知基础理论四个方面展开科学研究。

论坛主题

文本表示专题

论坛简介

池化是许多基于深度学习的NLP模型用来学习文本表示的重要技术。在已有的池化方法中（例如平均池化，最大池化和基于注意力机制的池化），输出的文本表示是输入特征的L1或L∞范数的加权和。但是，这些方法的池化范数是固定的，对于在不同任务中学习文本表示可能并非最优。另外，如最大池化和基于注意力机制的池化等许多常用的方法可能会过分强调某些特征，导致其他有用的信息没有被充分利用。本期论坛我们邀请到了来自清华大学的武楚涵同学提出的基于可学习范数和注意力机制的池化方法将对这些问题进行解决。

论坛讲者

武楚涵

武楚涵，清华大学电子工程系博士生，主要研究方向为自然语言处理，用户建模和推荐系统，目前已在ACL、IJCAI、KDD、EMNLP、WSDM、NAACL和CIKM等学术会议上发表论文若干。

报告题目：基于可学习范数和注意力机制的文本表示池化方法

报告摘要：我们提出了一种基于可学习范数和注意力机制的池化方法，用于文本表示学习。不同于已有的使用固定范数的池化方法，我们提出以端到端的方式学习池化的范数，以自动在不同的任务中找到用于文本表示的最佳范数。此外，我们提出了两种方法来确保模型训练的数值稳定性。第一是幅度限制，它重新缩放输入以确保其非负性，并减轻指数爆炸的风险。第二是公式重整，用于分解幂指数运算，以避免计算输入特征的实数幂，并加速池化运算。在四个基准数据集上的实验结果表明，我们的方法可以有效地提高基于注意力机制的池化方法的性能。

Spotlight：

1. 本文提出了一种基于可学习范数和注意力机制的文本表示池化方法；

2. 本文提出了两种方法来保证模型训练的数值稳定性并提升池化速度；

3. 本文提出的池化方法具有通用性，可以用于许多NLP领域的任务。

召集人

李奉治

李奉治，中国科学院计算技术研究所直博生，导师为徐志伟研究员。主要研究方向为机器学习中的因果推理。

论文推荐

“ 本期推荐的文章主要关注于文本表示领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”

关注文章公众号

回复"SFFAI80"获取本主题精选论文

经典论文

01

推荐理由：基于卷积神经网络和最大值池化的文本表示方法，是使用卷积神经网络作为文本特征抽取器的经典工作。

—— 武楚涵

02

推荐理由：一种基于层次化注意力机制的文本表示模型（HAN），是注意力机制在NLP领域的经典应用。

—— 武楚涵

03

推荐理由：一篇尝试设置不同范数进行特征池化的工作。与本文不同，该工作中的池化范数需要手动选取，而我们的方法则可以自动进行训练来寻找合适的范数。

—— 武楚涵

前沿论文

04

推荐理由：一篇对注意力机制解释性的探讨，研究了注意力权重和特征重要性的关联，指出了基于注意力权重进行模型解释性分析的问题。

—— 武楚涵

05

推荐理由：对上一篇论文的一项反驳，质疑了上一篇论文中的部分假设，并进一步讨论了使用注意力权重解释RNN等模型的合理性。

—— 武楚涵

06

推荐理由：一篇对层次化注意力机制的进一步扩展的工作。该工作在HAN的基础上提出增加了一级文档级别的注意力机制，从而形成了三级注意力机制，用于学习更好的用户和商品表示。

—— 武楚涵

参会须知

会议时间

2020年9月20日（周日）

20:00 -- 21:00

报名方式

公众号二维码

请同学们扫码关注本公众号，对话框回复“SFFAI80”，获取入群二维码。

SFFAI的介绍

现代科学技术高度社会化，在科学理论与技术方法上更加趋向综合与统一，为了满足人工智能不同领域研究者相互交流、彼此启发的需求，我们发起了人工智能前沿学生论坛SFFAI，邀请一线科研人员分享、讨论人工智能各个领域的前沿思想和最新成果，使专注于各个细分领域的研究者开拓视野、触类旁通。SFFAI目前主要关注机器学习、计算机视觉、自然语言处理等各个人工智能垂直领域及交叉领域的前沿进展，进行学术传播，同时为讲者塑造个人影响力。

SFFAI还在构建人工智能领域的知识森林—AI Knowledge Forest。通过汇总各位参与者贡献的领域知识，沉淀人工智能前沿精华，使AI Knowledge Tree枝繁叶茂，为人工智能社区做出贡献。SFFAI自2018年9月16日举办第一期，每周一期学术分享交流，截止目前已举办79期学术交流活动，共有100+位讲者分享了他们的真知灼见，来自100多家单位的同学参与了现场交流，通过线上推文、网络直播等形式，50000+人次参与了人工智能前沿学生论坛。SFFAI自发起以来，迅速成长壮大，已经成为人工智能学生交流的第一品牌，有志同道合的论坛核心志愿者团队、乐于学术分享的讲者伙伴，还有许多认可活动价值、多次报名参加现场交流的观众，大家通过参与人工智能前沿学生论坛，收获了宝贵的知识和友谊，SFFAI致力于帮助大家解决在学术中遇到的相关问题，拓展学术人脉，为大家营造专业、开放的学术交流环境！

历史文章推荐

• 李永露：PaStaNet：Toward Human Activity Knowledge Engine

• 杨传广：高效设计图像分类模型：混合连通性的门限卷积神经网络

• 朱时超：图平滑样条神经网络
  

• 曾仙芳：通过自监督解耦身份和姿态特征实现人脸再扮演任务

• 张杰：针对图像处理网络的模型水印

• 牛广林：规则引导的知识图谱组合式表示学习

• 王玫：自然环境下的多种族人脸：利用信息最大化自适应网络去减少种族偏差
  

• 傅朝友：Domain-Aware Diverse Face Manipulation

• 申磊：多轮对话中的上下文信息建模

• 方杰民：Recent Advances and Highlights of NAS

• 张志鹏：SiamDW Real-Time Visual Tracking

• 周龙：同步双向文本生成

• 王亦宁：Multilingual Neural Machine Translation

• 呼奋宇：深度层次化图卷积神经网络

分享、点赞、在看，给个三连击呗！