论文分享--On the Difficulty of Evaluating Baselines A Study on Recommender Systems

最新推荐文章于 2024-09-14 21:53:48 发布
最新推荐文章于 2024-09-14 21:53:48 发布
阅读量133 收藏
点赞数
分类专栏： 科研--论文--实验 文章标签： 程序人生 学习方法 学习
wzideng所有，如有需求，请联系=>>Wzideng@qq.com
本文链接：https://blog.csdn.net/weixin_43554580/article/details/132109510
版权
本文研究了推荐系统中基线方法的评估问题，指出正确运行基线比预期更困难。通过对 Movielens 10M 数据集的分析，作者揭示了过去五年中很多发表的研究未能优化基线，导致新方法的改进被高估。文章强调了基线选择和调整的重要性，以确保实验结果的可靠性和有效性。
摘要由CSDN通过智能技术生成

在这里插入图片描述
在这里插入图片描述

  • 与基线比较的数值评估在判断推荐系统中的研究时起着核心作用。在本文中，我们证明了正确运行基线是困难的。我们在两个广泛研究的数据集上证明了这个问题。首先，我们表明，在过去五年中，在许多出版物中使用的基线对Movielens 10M基准的结果是次优的。通过仔细设置一个普通矩阵分解基线，我们不仅能够改进该基线的报告结果，而且甚至优于任何新提出的方法的报告结果。其次，我们回顾了社区为在Netflix Prize上以简单的方法获得高质量结果所付出的巨大努力。我们的结果表明，研究论文中的实证发现是有问题的，除非它们是在标准化基准上获得的，其中基线已被研究界广泛调整。

在这里插入图片描述

  • 在推荐系统领域，数值评价在评判研究中起着核心作用。期望将新发表的方法与基线(即众所周知的方法)进行比较，以便衡量对先前工作的改进。最佳实践
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Wzideng
关注
专栏目录
订阅专栏
A Pareto-Efficient Algorithm for Multiple Objective Optimization in E-Commerce Recommendation阅读翻译
u010505915的博客
02-27 3667
ABSTRACT Recommendation with multiple objectives is an important but difficult problem, where the coherent difficulty lies in the possible conflicts between objectives. In this case, multi-objective o...
【论文阅读】On the Difficulty of Evaluating Baselines-A Study on Recommender Systems
qq_42725437的博客
11-28 50
通过仔细设置基线，即使使用简单的贝叶斯矩阵分解，我们也可以优于任何结果——之前报道这种方法在 ML10M 上表现不佳。应用近十年来已知的建模技术，我们能够实现实质性改进 - 从绝对值来看，我们比之前报告的最佳结果 MRMA 比 2017 年提高了 0.0144，与该数据集报告的几年改进幅度相似2。我们的结果对之前 ML10M 实验结果得出的结论提出了质疑。所有最近提出的方法并没有大幅提高基线，而是大大低于众所周知的基线。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(三)
热门推荐
yinizhilianlove的博客
02-21 3万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
【AAAI-2019】论文整理（清单）
TiffanyRabbit的博客
03-12 3万+
AAAI-19 Accepted Papers – Main Technical Track 整理自：AAAI官网，分类整理持续更新… 详细文章可从arXiz.org下载 – CircConv: A Structured Convolution with Low Complexity Siyu Liao ()*; Bo Yuan (Rutgers University) – Deep Sing...
今日arXiv精选 | 29篇顶会论文：ACM MM/ ICCV/ CIKM/ AAAI/ IJCAI
Paper weekly
08-23 2649
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Group-based Distinctive Image Capt...
ICLR2020国际会议焦点论文(Spotlight Paper)列表（内含论文源码）
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
近年Recsys论文
weixin_34023863的博客
01-20 704
2015年~2017年SIGIR，SIGKDD，ICML三大会议的Recsys论文： 【转载请注明出处：https://www.cnblogs.com/shenxiaolin/p/8321722.html】 SIGIR-2015 【Title】 WEMAREC: Accurate and Scalable Recommendation through Weighted and Ensemble M...
2015年~2017年SIGIR，SIGKDD，ICML三大会议的Recsys论文
m0_37730034的博客
08-21 1202
2015年~2017年SIGIR，SIGKDD，ICML三大会议的Recsys论文：SIGIR-2015【Title】WEMAREC: Accurate and Scalable Recommendation through Weighted and Ensemble Ma...
On the Difficulty of Evaluating Baselines A Study on RS
08-08
这表明，除非在经过社区广泛调整的标准化基准上进行实验，否则研究论文中的实证发现可能是值得怀疑的。Netflix Prize是一个著名的推荐系统竞赛，它的成功解决需要对基本方法进行精细优化。 这个问题的核心在于，...
On the difficulty of training recurrent neural networks
08-10
在介绍循环神经网络(RNN)训练困难性的过程中，本文主要探讨了两个核心问题：消失的梯度问题和爆炸的梯度问题。这两个问题在深度学习领域广为人知，是训练循环神经网络时的主要障碍。 首先，循环神经网络是一种能够...
On the Difficulty of Membership Inference Attacks.pdf
11-19
总之，"On the Difficulty of Membership Inference Attacks"这篇论文揭示了会员推理攻击在实际应用中的局限性，尤其是高假阳性率问题，强调了在隐私保护领域需要更全面的评估标准和更深入的研究。
A quick-scoring guide to the interpretation of children's Kinetic Family Drawings (KFD)
06-29
A quick-scoring guide to the interpretation of children's Kinetic Family Drawings (KFD) Examiner Scoring of Ambiguous WISC-R Responses 489 MASSEY, J. 0. WISC scoriug criteria. Palo Alto, CA: ...
程序人生-我的外服经历（4）
车轮的博客
09-07 1328
22年长春经历了两次封城，整个城市从3月进入停摆状态，但是我们在封城期间，在家依然进行线上支持支持，升级系统，产线病毒清理等，这一年我们完成了WIN10系统的大版本升级及产线电脑杀毒，电脑更换等工作，22年年底对于我来说发生了几件大事，一是部门经理的更换，来得很突然，没有任何征兆，新的经理上位了，且发布了许多无理的要求，当时还以为是新官上任三把火，现在想想，不过是为了排除异己的手段罢了，二是外服经理的正式任命下来了，也涨工资了，三是我之前的同事都跳槽走了，但是因为疫情的原因，也没说聚一聚，时间过得很快，转眼
泰语快速学习方法！速成方法学习！
m0_69237479的博客
09-11 387
要快速学习泰语，可以采取多种策略，如掌握基础语法和词汇，专注于发音练习以掌握泰语特有的音调系统，利用语言学习软件进行互动学习，通过观看泰语媒体内容提高听力理解，与母语者进行语言交换来锻炼口语，参加课程以获得系统的学习指导，使用闪卡来记忆新词汇，深入了解泰国文化以更好地理解语言背景，练习写作以加强语言运用能力，定期复习以巩固记忆，为自己设定学习目标以保持动力，以及尽可能多地沉浸在泰语环境中，比如通过实地旅行。软件支持多种设备，提供丰富的语言资源和实用工具，以满足不同用户的翻译和学习需求。
C语言---程序设计练习题目及学习方法1
Wanyu667的博客
09-06 696
学习方法 1.多练习 2.学会画图 3.学会调试
UEFI学习笔记（五）：EDK II PCD的概念、类型、使用
qq_44189622的博客
09-11 826
如果在BIOS里面有一些模块是binary方式集成进来的而这些binary又需要用到PCD（用于Binary Release），那么这些Binary集成的要用到的PCD就必须要设置为。PCD的值存在memory里面，下次启动时，上次更改的值丢失了，每次启动都是从default值开始。是存在VPD空间的（在FLASH上，只读），一般是出厂配置。如果platform是从源码build出来的，没有binary在里面的时候，PCD用的都是。作用域在一个模块中（模块级的），可以在Binary Level进行修改。
看Threejs好玩示例，学习创新与技术(二)
最新发布
htsitr2的专栏
09-14 343
它的主要特点是确保生成的点之间保持一定的最小距离，从而避免点的聚集。这种方法在计算机图形学、游戏开发、物理模拟等领域中非常有用，尤其是在需要生成自然分布的对象（如树木、石头等）时。如果不进行裁剪，那么效果如下（初步的锯齿感是因为矩形内采样的结果）。为啥这么复杂呢，为啥不开始存储每个方块的UV呢？下面代码的vTexCoords（=savedModelMatrix，已修改）记录方块所在的位置，vWorldPosition表示方块中像素的偏移。在上面那副图中，聪明的你一定初步猜到了每个方块的纹理是怎么得到的。
NSL-KDD数据集中的Difficulty Level列是什么
03-26
Difficulty Level列是指网络攻击类型的难度级别。它将不同类型的攻击分成四个级别，分别为：低（low）、中等（medium）、高（high）和异常（neptune）。这个列的目的是为了判断数据集中的攻击类型对机器学习算法的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值