Kaggle大瓜系列报道之九——结局：取消成绩

Kaggle大瓜系列报道之九——结局：取消成绩

比赛进入尾声，由Public Leaderboard切换至Private Leaderboard（也即A榜切换为B榜），结局与博主预料的一致：

1. 在B榜中，“宝典帮”的八个队伍成绩出现了大幅shake，未能保住原来的名次
2. 部分队伍由于提交文件极度相似、ip地址相同，被Kaggle官方取消了成绩
3. 其他队伍仍然逍遥法外

一、Shake Up

Kaggle比赛一向以严谨公平著称。Private Leaderboard（也即国内所说的B榜）只提供一次提交机会，并且作为最终排名的唯一依据，以避免选手出现多个账号测答案而获得优势。同时，由于大多数队伍都在过拟合Public Leaderboard（也即国内所说的A榜），在切换Private Leaderboard时排行榜会发生非常剧烈的变化，这一现象在Kaggle中被称为“Shake Up”。

Private Sharing和多账号提交类似，往往交得到的都是Public Leaderboard所提供的信息，所有容易对Public Leaderboard过拟合。这次比赛中，“宝典帮”的八只队伍全军覆没，没有一只保住了前十的成绩。

二、取消成绩

从Kaggle帖子的反应来看，参赛选手几乎都认为“宝典帮”的队伍存在Private Sharing，违反了Kaggle规则。但是，除非抓到实锤作弊证据（如提交的IP地址相同、提交的结果文件极为相似），一般不会取消选手的成绩，而Private Sharing恰恰又是最难找到实锤证据的。

这次比赛中，由于“宝典帮”队伍众多，难免出现疏漏，其中有两个队伍的成绩被官方取消。据Kaggle资深选手表示，只要Kaggle确定作弊行为，就会取消成绩，且不能申诉。

在这次比赛中YB(Orange)和AIR所在的队伍、以及宁缺（广工第一关羽）所在的队伍均被取消成绩。

在下面可以看到，在最终版本的Private Leaderboard中，本来有Orange所在的队伍，但几小时后，该队伍被Kaggle官方从排行榜中移出。


同时，宁缺（广工第一关羽）所在的队伍成绩也被取消。

讽刺的是，就在几小时前，Orange还在Kaggle上分享了自己的赛题解决方案（链接），几小时后成绩即宣告取消。对此，网友评价：

网友A：似乎你的成绩被Kaggle官方从排行榜中移出了。作弊选手，恭喜你！

网友B：这不奇怪。我还记得他第一次参加Kaggle比赛时，就建了多个小号，还专门开了一个帖子讨论他的小号。

三、逍遥法外

虽然参赛选手大多认为“宝典帮”作弊，但由于无法抓到实锤证据，这些队伍仍然逍遥法外。

讽刺的是，“宝典帮”的两个队伍，即鱼遇雨欲语与余和小兔子乖乖所在的队伍，再次出现惊人一致的shake up，名次掉到21、22两个相邻位置。

这次，又该如何解释？又又又又是巧合？

传送门：
系列报道之一：来龙去脉
系列报道之二：发帖人
系列报道之三：帖子内容
系列报道之四：证据1
系列报道之五：证据2
系列报道之六：涉及队伍
系列报道之七：网友补充证据
系列报道之八：网友评价
系列报道之九：结局——取消成绩