【学术相关】为什么很多机器学习和深度学习的论文复现不了？

吴恩达老师曾经说过，看一篇论文的关键，是复现作者的算法。

然而，很多论文根本就复现不了，这是为什么呢？

一、数据关系

因为作者使用的数据比较私密，一般人拿不到，这种情况下，即使作者提供了源代码，但是读者却拿不到数据，也就没法复现算法。

这种情况在国内学术界很普遍，数据别人没有，这就好像一位奥数老师，自己出了一道奥数题，自己解答出来，然后把解题过程写了论文，这类论文往往说服力不够，故事性不够强。

二、硬件原因

深度学习的很多算法，是靠大力出奇迹的方法做出来的。比如谷歌、facebook的一些算法，依靠强大的硬件训练出来。

普通研究者没有那么强大的硬件资源，估计达不到他们的1%的算力，根本无法复现算法。

三、数据划分和训练方式

有些论文公开了代码，也公开了数据，但是论文里没有提到数据划分问题，数据如果比较少的话，不同的划分会导致结果不同。

四、众所周知的原因

这个原因大家心知肚明，我就不说太明白了，这个情况出现在很多国内作者的论文里。这个在公开数据上比较少见。

很多国内的学者发的论文，通常的套路是：

1. 定义一个很新但是意义不大的问题；

2. 面向github编程；

3. 网络中加一些attention，module，normalization，loss，加到不会崩为止；

4. 编故事，写小说，看上去逻辑挺清晰的，但是不给别人复现的机会。

理想的论文什么样？

1.效果可以复现，论文里每一个实验逻辑都很通畅，论文所有实验形成的逻辑链完备，使用公开数据集，效果和论文基本一致。

能够达到这种的一般是领域内的大佬，比如陈天奇、何恺明。

2.使用公开数据，公开代码，论文细节清楚，能复现论文的效果。尽管很多论文的作者也不能说明为什么这么设计的网络效果好，这个应该是深度学习可解释性差的原因。因为他们公开了代码，在公开数据集上效果好，能复现效果，所以也是好论文。

文末推荐

最后，推荐一个网站：paperswithcode.com/，很多优秀论文的代码都能找到。

往期精彩回顾



适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑
本站知识星球“黄博的机器学习圈子”（92416895）
本站qq群704220115。
加入微信群请扫码：