【DL-吴恩达-神经网络与深度学习-01】引言

深度学习笔记（黄海广）
github（黄海广等）
课后作业：测验
课后作业：测验+编程
课件
AI学习的开源项目

---

课程设置

• 神经网络与深度学习
  • 如何建立一个神经网络，包括深度神经网络
  • 如何在数据上训练神经网络
  • 用一个神经网络辨认猫
• 改善深层神经网络：超参数调试、正则化及优化
  • 神经网络的编程知识
  • 严密地构建神经网络，如何真正让它表现良好，因此要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法，比如Momentum和Adam算法
• 结构化机器学习项目
• 卷积神经网络
  • 如何搭建CNNs（常被应用于图像领域）
• 序列模型
  • 循环神经网络RNN、长短期记忆网络LSTM
  • 序列模型应用于自然语言处理问题

---

什么是神经网络

• 只要尝试输入一个$x$，即可把它映射成$y$
• 每个隐藏层单元都从输入的所有特征获得自身输入，不具有含义

神经网络的监督学习

• 标准神经网络：房地产、在线广告
• 卷积神经网络：图像
• 递归神经网络：音频序列、单词序列

为什么深度学习会兴起

• 在小的训练集中，各种算法的优先级事实上定义的也不是很明确，所以如果没有大量的训练集，那效果会取决于特征工程能力。

• 通过以下两种方式可获得较高的性能体现：

  • 训练一个规模足够大的神经网络
  • 投入更多的数据

这只能在一定程度上起作用，因为最终会耗尽数据，或者最终的网络是如此大规模导致将要用太久的时间去训练。

• 在深度学习萌芽的初期，数据的规模以及计算量，局限在对于训练一个特别大的神经网络的能力，无论是在CPU还是GPU上面，那都使得我们取得了巨大的进步。
• 但是渐渐地，尤其是在最近这几年，我们也见证了算法方面的极大创新，许多算法方面的创新，一直是在尝试着使得神经网络运行的更快。