ACL预讲 | 中国科学院、港科大、清华大学、港中文的讲者来啦~

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

4月20日、21日晚19:30，ACL预讲，本期我们邀请中国科学院计算技术研究所、香港科技大学计算机系、清华大学电子工程系、香港中文大学计算机系的四位学者给大家带来精彩的分享！

4月20日 19:30-20:30

盛强：

中国科学院计算技术研究所数字内容合成与伪造检测实验室博士生，导师为曹娟研究员。主要研究方向为面向社交媒体数据的虚假新闻检测与事实核查。

分享内容：

假新闻检测：观察新闻本身，

更要观察它所在的新闻环境

报告简介：

社交媒体虚假新闻的广泛传播已经在政治、经济、健康等领域带来了严重危害。现有的检测方法往往选择推近观察（“zoom in”），通过捕捉特定行文模式、基于知识库验证内容真实性、考虑用户评论，对给定新闻的真实性做出判断。

这些方法忽略了假新闻创作和传播时所处的新闻环境中蕴含的信息：为了提高影响力和破坏力，假新闻往往存在“蹭热点”倾向，这使得新闻环境反映的近期主流的媒体焦点和群众关切，成为了假新闻创作中的重要参考。例如，2月1日中国男足1-3负于越南男足后，网上立刻流传起“击败国足的越南足球队队长在农贸市场卖虾谋生”的不实信息。

基于上述思考，我们认为拉远焦点（“zoom out”），观察给定新闻与其所在新闻环境的关系，可以为假新闻检测提供全新的视角。本文提出新闻环境感知框架，通过在宏观环境中观察给定新闻的流行度，在微观环境中观察其新颖度，捕捉有用信息用于假新闻检测。据我们所了解，这是首个考虑新闻环境信息的假新闻检测工作。

张永祺：

博士毕业于香港科技大学计算机系，自2020年起在第四范式科学技术部从事机器学习算法研究工作，主要研究方向为自动化机器学习、知识图谱表示学习与图神经网络。其自研的自动化知识图谱表示学习技术，在知识图谱的多项重要任务上达到国际领先水平，并在人工智能领域顶级会议期刊NeurIPS、TPAMI、ACL、WWW、VLDB Journal、ICDE上发表多个相关工作。

分享内容：

针对知识图谱学习的高效超参搜索算法

报告简介：

超参数调优对于知识图谱学习是一个重要问题，会严重影响模型性能，但由于模型训练时间长，现有的超参数搜索算法往往效率低下。

为解决这一问题，我们详细地分析了不同超参数的性质，及子图到全图的迁移能力。并根据实验效果提出了两阶段的调参算法KGTuner，我们在第一阶段利用子图高效地探索大量超参数，并将性能最好的几组超参数配置迁移到全图上，在第二阶段进行微调。

实验表明，两阶段搜索算法大大提升了超参数搜索效率，在不同的大规模知识图谱链接预测任务上，均获得了性能的提升。

4月21日 19:30-20:30

武楚涵：

清华大学电子工程系博士研究生，主要研究方向为自然语言处理、推荐系统和用户建模，曾在多个人工智能领域知名学术会议和期刊上发表论文多篇。

分享内容：

小噪声对预训练语言模型微调的帮助

报告简介：

准确地微调预训练语言模型对于它们在下游任务中的成功至关重要。但是，预训练语言模型可能存在过度拟合预训练任务和数据的风险，从而与目标下游任务存在鸿沟。现有的微调方法往往难以克服这类鸿沟。

在本文中，我们提出了一种非常简单有效的方法，名为 NoisyTune。我们通过在微调之前向语言模型的参数添加少量噪声来帮助更好地在下游任务中微调语言模型。我们提出了一种矩阵级扰动方法，根据不同参数矩阵的标准差，将不同强度的均匀噪声添加到不同参数矩阵中，从而考虑模型中不同类型参数的差异化特征。在GLUE和XTREME等基准数据集上的实验表明，NoisyTune 可以简单有效地为语言模型在下游任务中带来提升。

王文轩：

香港中文大学计算机系博士研究生，师从Dr. Michael Lyu吕荣聪教授。主要研究方向是机器翻译等自然语言处理模型的可靠性。

分享内容：

理解和改进针对机器翻译

任务的序列到序列预训练

报告简介：

本研究旨在理解和改进针对机器翻译任务的序列到序列的预训练，特别是预训练解码器的研究。我们发现序列到序列的预训练对机器翻译任务来说是一把双刃剑：一方面这个模块可以提高翻译模型的译文的准确性和多样性；另一方面，由于预训练和下游微调任务的不同，预训练解码器会引入生成风格的偏移以及过度自信的问题，从而限制模型性能。基于此，本工作提出了两个简洁有效的方法：领域内预训练和输入自适应。实验表明，我们的方法可以有效的提高模型性能和鲁棒性。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“ACL”，将拉您进“ACL会议交流群”！

AI TIME微信小助手

主       办：AI TIME 

合作媒体：AI 数据派、学术头条

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云、络绎科学

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

 关于AI TIME 

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了600多位海内外讲者，举办了逾300场活动，超150万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！