如何快速理解一篇 ML 论文的要点？只要记住5个问题

机器学习领域非常火热，新的模型、技术不断更新非常快，要求我们在平时的工作和学习过程中，会需要去阅读一些论文，跟踪某个领域的最新动态。

但读论文经常会有两种不适的感觉，一是容易遗忘，二是不能提纲挈领。 遗忘通常是读了后面忘记前面，或者过几日回顾自己读的论文完全不知道是怎么回事。 不能提纲挈领体现在喜欢逐字逐句的阅读，没有侧重点的从全局来学习论文。

那么，我们应该如何阅读机器学习领域的论文？

谷歌 Robotics 研究科学家 Eric Jang 在博客上写了一篇名为“How to Understand ML Papers Quickly”的文章，提到他的学员也经常问他一些大同小异的问题，比如 “arXiv 上的各种论文每天都泛滥成灾，我们又该如何去选择性地阅读？”

他提出，阅读大多数机器学习领域的论文的好处在于，你只需要问五个简单的问题，就能弄清楚论文的逻辑，并能避免很多麻烦，例如难懂的术语，糟糕的数学推导…

这五个问题是：

1）函数逼近器的输入是什么？

例如，只有一个对象居中的224x224x3 RGB 视图。

2）函数逼近器的输出是什么？

例如，对应于输入长度为1000向量的图像。

通过这种“省略”的方式思考机器学习系统的输入和输出，如此一来，你便可以跳过算法术语，并考虑其他领域是否用其他方法实现了同样的目的。我发现这种方法在阅读“元学习”领域的论文时非常有用。

通过将机器学习问题视为一组输入和预期的输出，你可以推断输入是否足以预测输出。如果不进行此练习，你可能会随便设置一个机器学习问题，输出可能无法由输入确定。因此便有可能创造一个引发“错误”的机器学习系统。

3） 关于输出的预测是以什么为代价来进行监督的？这个特定目标对世界又有什么样的假设？

机器学习模型是通过组合偏置和数据而形成的。有时偏置很强，有时又很弱。为了使模型更好地泛化，你需要添加更多偏差或者添加更多的无偏数据。正如“天下没有免费的午餐”理论所指出的，没有哪一个优秀的模型是能轻轻松松做出来的。

举一个例子：许多最优控制算法都假设一个稳定而连续的数据生成过程，即马尔可夫决策过程（MDP）。在MDP 中，“状态"和"行动"通过环境的过渡动态确定映射到"下一个状态、反馈以及是否结束”。这种结构虽然非常寻常，但可以将损失进行公式化表达，使学习Q值遵循贝尔曼方程。

4）经过训练后，模型可以从以前闻所未闻的输入/输出中概括出什么？

由于从数据或模型的体系结构中捕获了信息，因此机器学习系统可以很好地泛华。近年来，我们看到泛化的水平越来越高，因此在阅读论文时，我会去观察那些令人惊讶的泛化功能以及它们来自何处（数据，偏置或两者兼而有之）。

更好的归纳偏置在该领域存在很多噪音，例如因果推理、符号方法或以对象为中心的表示。这些是构建稳健而且可靠的机器学习系统的重要工具，而且我知道分隔结构化数据与模型的偏置界限可能很模糊。话虽如此，但让作者感到困惑的是，为什么有那么多研究人员认为推动机器学习前进的方式是减少学习量并增加硬编码行为的量。

我们之所以开展“机器学习”的科研工作，恰恰是因为有些事情我们不知道如何去进行硬编码。作为机器学习研究人员，我们应该将工作重点放在改善学习方法上，而将硬编码和符号方法留给机器硬编码研究人员使用。

5）结论是否可证伪？

那些声称不能证伪的论文不在科学领域之内。

原文链接：
[1]: https://blog.evjang.com/2021/01/understanding-ml.html