深度学习一《Neural Networks and Deep Learning》第一节 吴恩达

1.1 欢迎

总共分为四门课：

• 第一门课（神经网络和深度学习）：你将学习神经网络的基础，你将学习神经网络和深度学习，这门课将持续四周，专项课程中的每门课将持续2至4周。你将学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们。在这门课程的结尾，你将用一个深度神经网络进行辨认猫。

• 第二门课（改善深层神经网络）：我们将使用三周时间。你将进行深度学习方面的实践，学习严密地构建神经网络，如何真正让它表现良好，因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法，比如Momentum和Adam算法，犹如黑魔法一样根据你建立网络的方式。第二门课只有三周学习时间。

• 第三门课（结构化机器学习项目）：我们将使用两周时间来学习如何结构化你的机器学习工程。事实证明，构建机器学习系统的策略改变了深度学习的错误。
  举个例子：你分割数据的方式，分割成训练集、比较集或改变的验证集，以及测试集合，改变了深度学习的错误。
  所以最好的实践方式是什么呢？你的训练集和测试集来自不同的贡献度在深度学习中的影响很大，那么你应该怎么处理呢？如果你听说过端对端（end-to-end）深度学习，你也会在第三门课中了解到更多，进而了解到你是否需要使用它，第三课的资料是相对比较独特的，我将和你分享。我们了解到的所有的热门领域的建立并且改良许多的深度学习问题。这些当今热门的资料，绝大部分大学在他们的深度学习课堂上面里面不会教的，我认为它会提供你帮助，让深度学习系统工作的更好。

• 第四门课程（卷积神经网络）：我们将会提到卷积神经网络(CNN(s))，它经常被用于图像领域，你将会在第四门课程中学到如何搭建这样的模型。

• 第五门课（序列模型）：你将会学习到序列模型，以及如何将它们应用于自然语言处理，以及其它问题。

  • 序列模型包括的模型有循环神经网络（RNN）、全称是长短期记忆网络（LSTM）。你将在课程五中了解其中的时期是什么含义，并且有能力应用到自然语言处理（NLP）问题。

1.2 什么是神经网络

神经网络：Neural Network
ReLU : Rectified Linear Unit,修正线性单元(即线性函数小于0的部分取0)

1.3 用神经网络进行监督学习

不同应用需要选择不同的神经网络：

Input(x)	Output(y)	Application	Type of NN
Home features	Price	Real Estate	Standard NN
Ad,user info	Click on ad?(0/1)	Online Advertising	Standard NN
Image	Object(1,…,1000)	Photo tagging	CNN
Audio	Text transcript	Speech recognition	RNN
English	Chinese	Machine translation	RNN
Image,Radar info	Position of other cars	Autonomous driving	Custom Hybridg(更复杂的混合神经网络)

Tips :

• 图像领域常用卷积神经网络(CNN:Convolutionary Neural Network)；
• 音频是一维时间序列，序列数据常用循环神经网络(RNN:Recurrent Neural Network)
• 语言都是逐字逐句地出现，所以也是序列数据
• Structed Data : databases of data,有数据库或数据列表，对每个特征都有明确的定义
• Unstructed Data : e.g.Audio,image,text.etc

1.4 为什么深度学习会兴起？

主要原因：

• 数据规模的增大和神经网络模型规模的增大
• 算力上升提高了迭代速度
• 算法的创新增加了计算速度

Notation:

• m : number of training set

1.5 关于这门课