今晚7:30 | 阿里巴巴达摩院高级算法工程师——《半监督预训练对话模型 SPACE》...

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

5月10日、11日、12日晚19:30，本期我们邀请到阿里巴巴达摩院高级算法工程师戴音培、欧盟玛丽居里研究员王本友和中国人民大学信息学院讲师张立峰给大家带来精彩的分享！

5月10日 19:30-20:30

戴音培：

阿里巴巴达摩院高级算法工程师，硕士毕业于清华大学电子工程系，研究领域为自然语言处理及对话智能（Conversational AI），具体方向包括对话理解、对话管理和大规模预训练对话模型等。在 ACL / AAAI / SIGIR/ ICASSP 等会议上发表多篇论文并多次担任 ACL / EMNLP / NAACL / AAAI 等会议审稿人。

分享内容：

半监督预训练对话模型 SPACE

报告简介：

如何将人类先验知识低成本地融入到预训练模型中一直是个NLP的难题。

在本工作中，达摩院对话智能团队提出了一种基于半监督预训练的新训练范式，通过半监督方法将少量有标对话数据和海量无标对话数据一起进行预训练，利用一致性正则化损失函数将标注数据中蕴含的对话策略知识注入到预训练模型中去，从而学习出更好的模型表示。

新提出的半监督预训练对话模型SPACE（Semi-Supervised Pre-trAined Conversation ModEl）首先围绕对话策略知识展开了研究。

实验表明，SPACE1.0 模型在剑桥MultiWOZ2.0，亚马逊MultiWOZ2.1等经典对话数据集上能够取得5%+显著效果提升，并且在各种低资源设置下，SPACE1.0 比现有sota 模型都具有更强的小样本学习能力。

5月11日 19:30-20:30

王本友：

意大利帕多瓦大学博士生，欧盟玛丽居里研究员。将在2022年6月份作为助理教授加入香港中文大学（深圳）数据科学学院。在天津大学受宋大为和张鹏教授指导下获得硕士学位，曾在丹麦哥本哈根大学，加拿大蒙特利尔大学，荷兰阿姆斯特丹大学，华为诺亚方舟实验室，中科院理论物理所，社科院语言所交流访问。在工业应用方面，他2017年开始曾在腾讯全职工作，作为主要算法设计人员，在腾讯云上从零搭建了稳健的智能客服系统。在相对较短的学术生涯，他致力于构建更加鲁棒和智能的自然语言处理系统，兼顾技术合理性和语言学动机。迄今他和他的合作者一起获得了国际信息检索顶级会议SIGIR 2017最佳论文提名奖和国际自然语言处理顶级会议NAACL 2019最佳可解释论文，发表了包括国际顶级会议ICLR/SIGIR/WWW/NAACL/AAAI/IJCAI/CIKM等20余篇。

分享内容：

On position embeddings

报告简介：

transformer广泛使用在nlp任务（特别是预训练模型），甚至开始用到cv领域崭露头角。transformer其结构除去位置编码将不能建模输入的顺序，所以位置编码及其重要。

目前很多预训练模型都用不同的位置编码（比如完全可学习的位置编码，三角函数式固定的位置编码，相对位置编码），经验上都表现不错，但是缺少一个统一的框架来理解和评价这些位置编码。

我们先从理论角度解释为什么三角函数式位置编码的动机，简单说就是以旋转的方式替换平移，以给词向量注入位置信息。

我们最新的工作形式化位置编码的一些原则上的属性（平移不变，单调和对称性），并评估存在的位置编码多少程度上满足这些属性，最后定量评估这些属性如何受益/损害下游任务。

我们发现完全可学习的位置编码在整句分类场景效果不错，得益于其能够灵活处理CLS特殊token和正常的位置；相对位置编码在span prediction上效果更佳。

学生招募信息

‍

香港中文大学(深圳)数据科学学院王本友/李海洲教授团队招收自然语言处理/语音处理/机器学习方向的3名全奖博士生（可以2022FALL, 2022WINTER, 2023入学），3名研究助理，6名博后。

团队有着很强的工业界和学术界的联系，有着丰富的计算资源，有足够资源训练超大预训练语言模型，充分发挥团队内成员的科研创造力。

今年秋季入学博士申请尽量在六月前开始，本科生和硕士生都可以申请博士，需要雅思或托福成绩（有国外学位可以豁免），博士授予香港中文大学颁发的学位证；RA和post-doc随时可以，招满为止。

详情请见https://wabyking.github.io/files/JD4PhD-CUHKSZ.pdf  或者 https://zhuanlan.zhihu.com/p/500582441 。

详情亦可咨询wabyking@gmail.com‍

5月12日 19:30-20:30

张立峰：

中国人民大学信息学院讲师。主要研究兴趣包括两个部分：1）进化计算等智能优化算法的方法论研究，以及管理运筹算法和决策支持系统在生产实践中应用；2）系统辨识和机器学习的理论和方法论研究，以及统计方法在各种数据分析领域的应用。

分享内容：

快速检测数据间复杂的相关关系

报告简介：

检测和区分变量间的关系是数据分析的一项基础工作，快速的找到和度量存在关联关系的变量既节约了研究者的时间，也为后续的分析与建模提供了有价值的方向指引。

本次研究提出了一类新的统计工具，即近邻相关系数（nCor），从一个全新的角度出发，能够有效地检测连续型、离散型，和分类变量间的关联关系。

与各类互信息（MI）的估值算法、MIC、dCor、RDC、HSIC等近年来的热点方法相比较，新的方法对各种数据类型、复杂关系的适用范围更广，检测能力和鲁棒性更强。

新方法也能更好的区分出可预测的、异方差的、交互的，和存在重叠的各类复杂数据关系，为后续分析与研究提供更深入和有效的引导。

本研究基于近几年已发表的三篇论文，分别阐述了新的统计量在不同应用情境下的原理与具体实现方法。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME 

合作媒体：AI 数据派

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云、络绎科学

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了600多位海内外讲者，举办了逾300场活动，超150万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！