AMiner论文推荐——基于余弦相似度的BERT微调算法

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

ACL 2021 论文推荐

Zhestyatsky at SemEval-2021 Task 2: ReLU over Cosine Similarity for BERT Fine-tuning（基于余弦相似度的BERT微调算法）

论文链接：https://www.aminer.cn/pub/607826aa91e011f5ecc9db7d/?conf=acl2021

推荐理由： 本文介绍了作者对SemEval-2021中任务2的贡献：多语言和跨语言语境下的词义辨析。作者设计的实验涵盖了该任务多语言设置中的英语（EN-EN）子轨道，并用几种预训练的语言模型进行实验，研究了不同的顶层对微调的影响。作者发现余弦相似性和ReLU激活的组合是最有效的微调程序，其中最优模型的准确率为92.7%，是EN-EN子轨道中排名第四的好成绩。

AMiner，AI赋能的学术搜索平台：https://www.aminer.cn/

#AMiner# #论文#