摘要 · 基于开放基准下的点击率预估模型
1、业界由于缺乏用于CTR预测研究的标准化基准和统一的评估协议。这导致现有研究中的实验结果不可重复,甚至不一致,这在很大程度上限制了其研究的实际价值和潜在影响。
2、作者的目标是对CTR预测进行开放基准测试,并以可复制的方式对不同模型进行严格比较。
3、实验结果表明,通过充分的超参数搜索和模型调整,许多dnn模型的差异比预期的要小。作者已经公开发布了基准测试代码
介绍 · 点击率预估模型复现的痛点
1、现有研究通常执行自己的数据分区(例如,使用未知的测试集分割或使用未知的随机种子)和预处理步骤(处理数字特征和过滤稀疏的分类特征阈值)
2、一些主流模型的官方或第三方源代码(例如,DeepCTR)通常缺少关于超参数设置、数据加载和提前停止的培训细节
3、由于发表的文献中缺乏可重用和可比较的基准测试结果,研究人员在发表新论文时需要重新实现所有基线模型,并在自己的数据分区上重新评估它们。这是一项繁琐而重复的工作,极大地增加了研究人员开发新模型的负担
核心· 文章的三个核心贡献
1、该论文的工作是迈向CTR预测开放基准的第一步
2、作者在网站上发布了所有基准代码、评估协议和实验结果,以促进CTR预测的可复制研究。
3、作者的工作揭示了现有研究中的不可再现性和不一致性问题,并呼吁在未来的CTR预测研究中进行开放和严格的评估。
优化 · 点击率预估模型的三个重点优化方向
▋特征工程: