吴恩达：初学者如何进入深度学习领域？

# 吴恩达：初学者如何进入深度学习领域？ # 

一个人是如何进入深度学习领域的呢？虽然大多数都是自学但是仍得益于专业化的设计。什么是序列模型？什么是注意力模型？是不是非得微积分才能理解这些概念，其实如果只在电脑上操作两个矩阵相乘只需要高中知识就够了。

当然了，深入学习还需要线性代数的支撑，需要了解非常基本的知识，了解一些编程。但是有人已经做了机器学习的调用，所以进行深度学习非常容易。

初学者在学习人工智能的时候，应该多实践，了解算法之间的不同之处，一开始不要费心去收集数据。在学习的过程中要进行自我测试，花时间修改架构，尝试新东西，高效的构建神经网络，但规模也不要太大，神经网络的规模要在你可支出的范围之内即可。

你可以在前六个月建立一个完整项目，眼光不要只放在数据这一个小的方面。必须着手构建实用的机器学习的系统思维框架，打个比方，我们在学习编程的时候哦，必须必须学习一些语法，Python也好，C++也好。但同样重要的是，也许编码中更重要的部分是理解如何将这些代码融合在一起。什么时候应该在函数列中放置一些东西？

你什么时候不放置？什么样的框架能让程序员更加高效？我记得当我在卡内基梅隆大学读本科时，我的一个朋友会先试着用代码来调试他们的代码。他每一行都要注意语法错误。语法错误是可怕的，应该学习如何调试。另外，机器学习程序中调试的方式与二进制搜索方式非常不同。

非常擅长调试机器学习算法的人，会让某些东西工作起来的速度很容易就快了10倍，也许是几百倍，他们调试的过程非常高效。与学习数学类似，深度学习的一个挑战是，有太多的的概念。如果你忽略了概念，那么你就可能弄不清后面要做的事情的前提条件。（雷锋网）

因此，在深度学习的专业化学习中，要尽量打破概念，最大限度提高可理解性。这样的话，当深入学习时，就会有足够的信心。另外，我发现，如果我尝试教给学生最有用的技巧，并让他们即刻使用，就会缩短他们“强制”学习的时间。现在的世界变化太快了，也许几年的时间就会天翻地覆，但我认为我们还需要更多的进行强化学习。

深度学习令人如此兴奋，但人工智能团队不应该只使用深度学习，我的团队就会使用一系列的工具。有时候我们使用PC电脑，试图在PC上找出解决问题的原因，有时候使用代理模型，有时候使用草稿，这里面或许会有一些对行业有巨大影响的内容。

多样化的技能可以帮助我们发现更适用解决问题的工具。在学术方面我也有期望。假如我只做学术，并且有无限的预算，不用担心短期的影响的话，我会把所有的精力都花在研究无监督学习上，因为无监督学习是一个美丽的想法，它让人兴奋。举一个自监督学习的例子：我在网上抓取了一些无标签的图像数据，数据的种类各种各样，那么我会将每张图片旋转、翻转，然后训练一个有监督的神经网络预测图片原来的方位。

因为旋转了图片，所以产生的有标签的数据就是无限多。研究人员已经发现，通过无标签数据和捏造标签数据集，然后训练一个大型的新网络，采用隐藏层表示并使用迁移学习能够将其转移到另一个强大的算法上面。无监督学习越来越重要，并且在现实世界里发挥着作用，尤其是在计算机视觉领域，此概念融合其他学科的概念会让人兴奋。

我对稀疏编码也非常感兴趣，我看到过一个慢特征分析，其想法可以追溯到我们十年前的工作内容，但当时我们都被监督学习所分散精力，所以希望研究者可以围绕主题探索更多的工作，以便能够出圈。

2020-03-11 11:34:46