深度学习入门

作者：马索萌
链接：https://www.zhihu.com/question/26006703/answer/199057388
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

深度学习的资料非常多，但这也成为了深度学习坑最大的地方，学习者很容易迷失在各种资料当中，最后只看了个皮毛。所以，我认为学习深度学习一开始就要盯着你挑选的那么一两个资料学习，最多不要同时看三本书。深度学习是一个理论与实践相结合的学科，所以我建议找一本理论和实践都覆盖的书，或者一本书讲理论，然后找些代码做实验。下面来说说我自己学习的总结的一条路径，难度由简到难，由浅到深。永远不要忽视基础，他们不是你学会之后就可以抛弃的东西，而是一点点积累让你达到更高高度的坚实台阶。

1. 入门材料。我推荐 Neural networks and deep learning，这本简短的书满足了上面我所说的既注重理论又有充分的实验代码伴随。这本书先是引入了最原始最简单的神经元和神经网络的概念，然后一步步引出全连接网络、激活函数、反向传播、优化方法、卷积神经网络等深度学习中最基本的内容，然后还给出一个视觉上的（非严格的）证明，神经网络可以计算任意函数（严格来讲，是有限制条件的）。书中还有大量的配图（其中还有很多可交互的动图），非常有助于理解。这本书对应的是作者自己的 python 代码，自己从头实现一个神经网络非常有助于理解。这本书真正做到了深入浅出，在不失理论深度的同时让难度变得很低。下图就是它展示改进学习方法的一个例子，你甚至可以在浏览器里面改变参数的值然后点击右下角的按钮立马看到反馈效果，看到 cost 曲线是如何下降的

<img data-rawheight="560" src="https://pic1.zhimg.com/50/v2-d6f946cff68577a159c603056c45f9a4_hd.jpg" data-rawwidth="1034" class="origin_image zh-lightbox-thumb" width="1034" data-original="https://pic1.zhimg.com/v2-d6f946cff68577a159c603056c45f9a4_r.jpg">

2. 找一本更深入的书学习理论，挑一个喜欢的框架可以做实验。我在入门深度学习的时候没有专门讲这个话题的书，还得自己寻找各种资料，看 paper，走了很多弯路，现在的同学可以直接看 Deep Learning 这本书了，对于基础理论讲的非常详尽了，是深入理解的一条捷径。至于框架，挑个主流的、教程完备的，我推荐 pytorch/tensorflow/mxnet 里面选一个，我个人比较喜欢 pytorch，程序非常优雅简洁。然后一边看书一边做实验，把书中的东西能实现的实现一下，把框架里面的教程也都跑一遍，这样你对于深度学习就入门了。

从这里开始，接下来你的学习可以分成两个分支了，分别对应理论和工业实践。

3.1 找一个专门的问题开始钻研，不断地试验自己的想法，前人没有的想法。同时阅读这个领域最新的文章，尝试实现。比如你可以挑物体检测这个问题，既然你对于理论和实践都已经比较熟练了，你完全可以开始修改别人的网络架构，改变训练的模式，尝试把先验信息加进来。总之，有很多的玩法都可以实验。说不定玩着玩着就能写一篇文章出来发表。

3.2 尝试实现一个自己的深度学些框架。目前深度学习离不开 c/c++ 和 cuda，所以你可以从头写一个 c/c++ 版本的，把坑自己踩一遍，这样工程能力肯定大为提高。或者，你也可以利用现有框架的后端实现一个前端，这样你对于这些框架后端的理解也能够大为提高。且你的所有的想法都可以写进这个前端里面。比如 pytorch 就是用 torch 的后端实现了一个 python 的前端，而且相比于原版的 torch 有了很多改进。