[paper reading] 译 + 注 ：如何阅读 Research Papers（Andrew Ng）

[paper reading] 译 + 注 ：如何阅读 Research Papers（Andrew Ng）

本文基于吴恩达老师 (Andrew Ng) 在 Stanford Deep Learning Lectures (cs230n) 的课程：YouTube链接在此。翻译的原文链接在此。

本人根据自己的想法，在保留原文加粗部分的条件下，增加了一下其他的加粗，以方便阅读。

此外，我根据课程做了一些笔记，也加到了文章中，作为补充（以引用格式注明）。

最后，一些吴恩达老师提到但原文没有提到的内容，我放到了最后。

允许转载，注明出处即可！

---

介绍机器学习和教育领域内公认的人物，如何通过已发表的研究论文（research papers）来获取知识。

“Wisdom is not a product of schooling but of the lifelong attempt to acquire it.” — Albert Einstein

Introduction

在人工智能和机器学习领域中，了解前沿研究人员的进展是每位的机器学习从业人员都应该掌握的一项技能。

为了与时代保持同步，机器学习从业人员需要具有学术思维和习惯。 AI，ML和DL的发展日新月异，我们必须掌握知识，才能紧跟该领域的发展，而这些知识只能通过研究 Research Papers 获得。

本文将指导你如何高效地研究论文，并提供以下内容：

• 一种系统的阅读 Research Papers 的方法，以获取某领域的知识。
• 如何恰当地 (properly) 阅读 Research Papers。
• 有用的在线资源，可以帮助您搜索论文和关键信息。

对于那些想要了解本文中关键内容的人，请向下滚动至标题为 “阅读Research Papers” 的部分。

$$\dots \dots$$

First, Who is Andrew Ng?

我在本文中提供的信息来自 Stanford lecture taught by Andrew Ng 。 我还通过个人提示 (tips) 和来自互联网的资源，对本文中包含的信息进行了补充。

但是首先，要简单介绍一下 Andrew Ng。

吴恩达 (Andrew Ng) 可能是互联网上最著名的（也是最受关注）机器学习老师。 他还是 Deeplearning.ai 和 Coursera 的共同创始人。除了从事在线教育工作外，他还是 Stanford University 的教授。

有关Ng Andrew的更多信息，仅需 google search 即可。
$$\dots \dots$$
一个人很自然地就会掌握周围人的技能和习惯，这就是为什么大多数博士生能够高效且恰当地消化 Research Papers 的内容。 这在某种程度上是事实，Andrew在视频一开始就提到了这一点。

但是我们不是博士生，我们普通人如何学习到这些技巧，去阅读 Research Papers 并完全理解其内容？
$$\dots \dots$$

Reading Research Papers

如果您有才华，那么在机器学习领域内的专业化 (Specialization) 将非常有用 (favourable) 。 例如，具有计算机视觉领域的通才知识 (generalist knowledge) 是值得称赞的，但是在关键技术，比如姿态估计 (pose estimation) 中具有专业知识和精通能力 (specialized knowledge and expertise) 将对在该领域的公司和组织更具吸引力。

因此，让我们以“姿势估计”为例子，介绍如何进行 (approach) 与姿势估计相关的 Research Papers 。

1、收集针对主题的资源。 形式可以包括研究论文，媒体文章，博客，视频，GitHub仓库等。

一次对于“姿势估计”的 google search 就能获得关于该主题的 top 资源。

在刚开始的这一步，目标是整理所有相关资源，例如YouTube视频，实施文档 (implementation documentations) ，当然还有 Research Papers。 理想情况下，在此阶段，不用限制重要资源的数量，但是一定要创建有用的论文，视频和文章的清单。

2、在下一步中，就要对你认为与主题相关的任何资源进行深入研究 (deep dive)。 至关重要的是，有一种方法可以记录对每个资源的理解程度 (track the understanding of each shortlisted resources)。 Andrew Ng建议根据理解水平，去绘制一个资源表格，其外观类似于下表：

对于每个资源，建议最少的至少10％至20％的内容， 以确保接触到足够的介绍性内容，并且能够准确地评估其相关性。

对于更相关的论文/资源，最好有更高的理解水平。 最终，您将确定一些适当的资源，并完全理解其内容。

您可能会问自己：“多少论文/资源就足够了”。我没有答案，但是 Andrew Ng 有答案。

据 Andrew Ng 说，理解5到20篇论文就能够建立对该主题的基本理解，或许也足够去完成一些 techniques。50-100篇论文就能够对该领域建立很好的理解。

在浏览完资源并提取了重要信息之后，您的表格可能看起来像下面这样：

吴恩达老师还提到了“skip around the list”，即在列表中跳着读。

这其实是一种更灵活的阅读方式。而相比于死板的阅读方式，根据实际情况灵活选择阅读方式，可能会取得更好的效果！

3、第三步是我理解论文时有用的 quick tip。 第三步是进行结构化注释 (structured notes)，用自己的话总结论文中的 key discoveries, findings 和 techniques。

现在，以下步骤将集中于如何阅读一份 research paper。
$$\dots \dots$$

Reading A Single Research Paper

以理解为目的去读一篇论文，并不是要把整个论文过一遍。 据 Andrew Ng 说，从头到尾阅读一次论文可能不是理解论文的最佳方法。

准备至少阅读三次论文，以充分理解其内容。

4、在第一遍中，首先阅读论文的 title、abstract 和 figure。

5、在第二遍中，阅读论文的 introduction、conclusion，再过一遍 figure，并略读其余部分。

论文的 introduction 和 conclusion 简洁明了地总结了论文的内容和发现。 这些地方的信息通常只包含关键信息。 这对于读者是有益的，因为可以获得继续阅读本文其他部分所需的重要信息。

6、在第三遍中，涉及阅读论文的整个部分，但可以跳过任何不熟悉或复杂的 maths or technique formulations。 在此阶段，还可以跳过所有不了解或不熟悉的术语。

在吴恩达视频中，第三步是 skip / skim maths，而不是跳过不熟悉或复杂的 maths or technique formulations。

而且还有第四步，即：whole thing but skip parts that don’t make sense。因为有一些论文年代久远……

7、那些对某个领域进行深入研究的人可能还要多看几遍。 这些额外的次数中，将主要去理解maths, techniques and unknown terminologies。

对于那些通常出于信息和工程目的阅读研究论文的人，进行深入研究可能会非常耗时，尤其是如果您还有20篇论文需要阅读。
$$\dots \dots$$
我通过介绍LeNet卷积神经网络的原始论文来完成本文介绍的过程，并总结了笔记中的关键内容，然后将其转换为一系列中型文章。

Understanding and Implementing LeNet-5 CNN Architecture (Deep Learning)

在本文中，我们使用自定义实现的LeNet-5神经网络对MNIST数据集进行图像分类…

(You Should) Understand Sub-Sampling Layers Within Deep Learning

平均池化，最大池化，子采样，下采样都是您在深度学习中遇到的短语…

Understanding Parameter Sharing (or weights replication) Within Convolutional Neural Networks

参数共享或权重复制是一个主题领域，在深度学习研究中很容易被忽略…

Understand Local Receptive Fields In Convolutional Neural Networks

有没有想过为什么卷积神经网络中并不是所有神经元都连接？

$$\dots \dots$$

Questions To Ask Yourself

Andrew Ng 提供了一系列在阅读论文时应该问自己的问题。 这些问题通常会反映你是否了解论文中提供的关键信息。 我将以下问题用作信标，以确保我不会偏离理解重要信息。

这些问题如下：

• 描述论文的作者希望（或者已经）完成什么。

  What did authors try to accomplish？

• 论文提到的新的 approach/technique/method，以及他们的 key elements。

  What were the key elements of the approach？

• 文章的那些内容对你有用？

  What can you use yourself？

• 你想 follow 的参考文献？

  What other reference do you want to follow？

$$\dots \dots$$

Additional Resources To Assist Research

一些在线资源能让相关信息的发现和检索更容易。 以下是可帮助您搜索相关信息的资源示例。

• The Machine Learning Subreddit
• The Deep Learning Subreddit
• PapersWithCode
• Top conferences such as NIPS, ICML, ICLR
• Research Gate
• Arxiv

$$\dots \dots$$

Conclusion

“Learn steadily rather than short burst for longevity.“ — Andrew Ng

我对机器学习和计算机视觉领域还比较陌生，有很多我不知道的地方 (谦辞) 。 尽管如此，我仍然相信，如果一个人始终如一地寻求知识，无论其领域如何，他们都会获得超越标准的理解和专业知识 (干了这碗鸡汤！！！)。

根据吴恩达（Andrew Ng）介绍的方法，我每个月至少阅读四篇论文，以期达到理解的目的。 老实说，LeNet论文花了我一个半星期的时间才完全理解。 但是，次数越多，在阅读和理解研究论文上就会越快越好。

吴恩达在视频中表示，他随身携带了一个文件夹的要读的论文。吴恩达是机器学习领域的杰出人物，我相信效法他的习惯和学习技巧可能对您的学习之旅有利。
$$\dots \dots$$

附加内容

以下是吴恩达老师提到，但是原文没有提到的内容，我加到最后。

Math

• 通读它，记下详细的笔记，然后看看是否可以从头写出 (re-derive it from scratch)。

Code

• 运行开源代码（如果可以的话）

• 复现代码 (re-implement it from scratch)

个人能力（T字型）

纵向提高能力的方式：

• Project
• Open-source
• Research
• Internship

Fundamental skills

• Course work
• Reading
• Relevant Project

Saturday morning

这其实是一个个人选择的问题。

• Read paper
• Work a research
• Open source
• TV
• ……