翻译：开始阅读深度学习研究论文：为什么和如何做

最新推荐文章于 2020-11-15 13:58:23 发布

快乐成长吧

最新推荐文章于 2020-11-15 13:58:23 发布

阅读量397

点赞数 1

分类专栏：论文笔记

论文笔记专栏收录该内容

9 篇文章 0 订阅

订阅专栏

Getting started with reading Deep Learning Research papers: The Why and the How

当你读完那本书或者完成了关于深度学习的在线课程后，你如何继续学习呢?你如何变得“自给自足”，这样你就不需要依靠别人来打破这个领域的最新突破?

你阅读研究论文。

在你开始之前做个简短的笔记——我不是深度学习的专家。我最近才开始阅读研究论文。在这篇文章中，我将写下我刚开始觉得有用的一切。

The why

在Quora上，当被问及如何测试一个人是否有资格从事机器学习职业时，安德鲁·吴(谷歌Brain创始人，百度AI group前负责人)回答说，任何人都有资格从事机器学习职业。他说，在你完成了一些ML相关课程后，“要想走得更远，就要阅读研究论文。”更棒的是，尝试在研究论文中复制这些结果。

Dario Amodei (OpenAI的研究人员)说:“为了测试你是否适合在AI安全或ML中工作，你只需要非常快速地实现许多模型。从最近的论文中找到一个ML模型，实现它，试着让它快速工作。

这表明，阅读研究论文对于进一步了解该领域至关重要。

每个月都有数百篇论文发表，任何认真学习这一领域的人都不能仅仅依靠导师式的文章或课程，因为其他人会把最新的研究成果分解开来。在您阅读本文时，新的突破性研究正在进行中。这一领域的研究速度从未如此之快。唯一能让你跟上进度的方法就是养成阅读研究论文的习惯。

在这篇文章中，我将试着给你一些可行的建议，关于你如何开始阅读一篇论文。然后，在最后，我会试着分解一篇论文，这样你们就可以开始了。

The How

首先，阅读科研论文是困难的。事实上,“没有什么比阅读一篇科学期刊文章更让你觉得愚蠢的了。”

我只是想把它放在第一位，这样你就不会感到沮丧，如果你觉得你不能真正理解一篇论文的内容。你不太可能在前几关理解它。所以，勇敢点，再试一次吧!

现在，让我们谈谈一些对你的阅读有帮助的有价值的资源。

arXiv.org

你可以把它想象成这样一个地方:研究人员在发表论文之前，会先在那些著名的科学期刊或会议上发表(如果有的话)

他们为什么要这样做?

哦，原来做研究和写论文并不是结束。一篇论文从被提交到发表在一些科学杂志上是一个相当长的过程。当一篇论文被提交到这些期刊之后，同行评审的过程可能会非常缓慢(有时甚至会持续多年!)这对于像机器学习这样快速发展的领域来说是不可取的。

这就是为什么arXiv.出来了。

好的，所以允许研究人员轻松地预印他们的研究论文是件好事。但是那些看报纸的人呢?

如果你去arXiv网站，很容易感到害怕、渺小和迷茫。绝对不是一个新人 (就我看来,欢迎你也试试虽然☺)。

进入，Arxiv Sanity Preserver.。

Arxiv Sanity对Arxiv所做的，就像Twitter的newsfeed对Twitter所做的(当然，它完全是开源的，没有广告)。正如newsfeed可以让你看到最有趣的tweets，个性化到你自己的口味，从浩瀚的大海中，这就是Twitter，同样地，Arxiv Sanity带给ML的论文，对你来说可能是最有趣的。它可以让你根据流行趋势、过去的喜好以及你关注的人的喜好对论文进行排序。(正是个性化推荐功能让我们得到了如此广泛的应用。

https://www.youtube.com/watch?v=S2GY3gh6qC8&feature=youtu.be Check out this short introductory video of the website to know more about it

机器学习- WAYR在Reddit上的帖子

WAYR是What Are You Reading的缩写。这是reddit https://www.reddit.com/r/MachineLearning/机器学习网站上的一个帖子https://www.reddit.com/r/MachineLearning/comments/807ex4/d_machine_learning_wayr_what_are_you_reading_week/，人们在这里发布他们这周读过的ML论文，并讨论他们从中发现的有趣之处。

正如我所说，arXiv每周在机器学习领域发表的研究论文数量是非常巨大的。这就意味着，一个人几乎不可能每周阅读所有的书籍，做一些常规的事情，比如上大学、工作，或者与他人交流。而且，并不是所有的报纸都值得一读。

因此，你需要把你的精力花在阅读最有前途的论文上，而我上面提到的线程(thread)就是一种方法。

时事通讯时事通讯时事通讯

时事通讯是我个人了解人工智能领域最新进展的最好来源。你可以简单地订阅他们，并把他们送到你的收件箱每周一免费!就这样，你可以了解到与人工智能相关的最有趣的新闻、文章和研究论文。

以下是我订阅的:

《进口人工智能》，杰克·克拉克著 https://jack-clark.net/

这是我最喜欢的，因为除了提供我上面提到的所有信息之外，它还有一个名为“技术故事”的部分。这部分包含了一个新的人工智能相关的科幻短篇故事基于过去一周的事件!

(嘘. .坦白说:即使是在我对人工智能的新事物不那么感兴趣的那些星期里，我也会因为科技故事而略读这篇时事通讯)

山姆·德布勒的《机器学习》 https://machinelearnings.co/

他还以同样的名字维护一个媒体出版物。它包含了一些非常有趣的文章。也一定要检查一下。

内森。《人工智能》(ai)，内森·本奈奇(Nathan Benaich)著 https://www.getrevue.co/profile/nathanbenaich

虽然以上两份通讯是每周的，但这是一份季度通讯。所以，你每三个月就会收到一封很长的电子邮件，它总结了过去三个月该领域最有趣的发展。

丹尼·布里兹(Denny Britz)的《艾城狂野周》(The Wild Week in AI) https://www.getrevue.co/profile/wildml

我真的很喜欢这个，因为它非常干净，简洁，但是它似乎在过去的两个月里变得不活跃了。不管怎样，我在这里提一下，以防丹尼又开始发那些邮件。

另一种与该领域最优秀和最新的技术保持同步的好方法是关注Twitter上著名的研究人员和开发人员的帐户。以下是我跟踪的一些人:

Michael Nielsen

Andrej Karpathy

Francois Chollet

Yann LeCun

Chris Olah

Jack Clark

Jeff Dean

OpenAI(我知道这不是“人”，但……)

“这很好，但我该怎么开始呢??”

是的，这是更紧迫的问题。

好的，首先要确保你理解机器学习的基础知识，比如回归和其他类似的算法，深度学习的基础知识——普通的神经网络，反向传播，正则化，以及一些比ConvNets, RNN和LSTM更基础的知识。我真的不认为阅读研究论文是理清这些主题基础的最好方法。您可以参考许多其他资源来完成此操作。

一旦你做到了这一点，你应该从阅读一篇最初介绍上述观点的论文开始。这样，你就能专注于习惯一篇研究论文的样子。你不必太担心你的第一篇研究论文，因为你已经非常熟悉这个概念了。

我建议你从AlexNet的论文开始。 Neural Information Processing Systems (NIPS)

为什么这篇文章?

看这个图:

看到计算机视觉和模式识别曲线是如何在2012年迅速增长的吗?这主要是因为这篇论文。

这篇论文重新点燃了人们对深度学习的兴趣。

本文由Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton合著，标题为ImageNet Classification with Deep tional Networks，被认为是该领域最具影响力的论文之一。它描述了作者如何使用CNN(名为AlexNet)赢得2012年ImageNet大规模视觉识别挑战(ILSVRC)。