论文笔记 | CodeXGLUE: A Machine Learning Benchmark Dataset for Code Understanding and Generation

arxiv 2021
Shuai Lu, Daya Guo, Shuo Ren, …
Peking University, Sun Yat-sen University, Beihang University, Microsoft
keywords: program understanding, benchmark dataset
code

本文提出了一个代码理解领域的benchmark,其中包括10个任务,14个数据集,还有一个可以供研究者们参考和比较的平台

文章中所有内容基本可以用下面这张表概括,主要是在讲各个任务中使用到的数据集和各个任务目前已经有的baselines。
在这里插入图片描述
可以在需要做这些任务的时候,再细看这篇文章中对于该任务的介绍和数据集。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
HPO-B是一个基于OpenML的大规模可复现的黑盒超参数优化(HPO)基准。超参数优化是机器学习中非常重要的一环,它涉及在给定的模型框架下选择最优的超参数配置,以提高模型的性能和泛化能力。 HPO-B基准的目的是为了提供一个可靠且可复现的平台,用于评估不同HPO方法的效果。通过使用OpenML作为基础数据集和算法库,HPO-B能够提供广泛的机器学习任务和模型,从而覆盖不同领域的实际应用。 HPO-B基准的黑盒性质意味着它仅仅观察模型的输入和输出,而不考虑模型内部的具体实现。这种设置模拟了现实世界中许多机器学习任务的情况,因为在实际应用中,我们通常无法获得关于模型的全部信息。 HPO-B基准旨在解决现有HPO方法的一些挑战,例如难以比较和复制不同方法之间的实验结果。它通过提供标准任务、固定的训练-验证-测试数据分割方式和一致的评估协议,使得不同方法之间的比较更加公平和可靠。 通过使用HPO-B基准,研究人员和从业者可以在统一的实验环境中进行黑盒超参数优化方法的评估和对比。这有助于推动该领域的发展,促进更好的超参数优化算法的提出和运用。 总而言之,HPO-B是一个基于OpenML的大规模可复现的黑盒超参数优化基准,旨在解决现有方法比较困难和结果复现性差的问题,并推动超参数优化算法的发展。它为机器学习任务提供了一个统一的实验平台,以评估不同方法在不同领域的性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值