【基础系列】赏析Andrew Ng教授《Deep Learning》ch1 神经网络和深度学习

原作者：[双语字幕]吴恩达深度学习deeplearning.ai_哔哩哔哩_bilibili

第一周:深度学习引言(Introduction to Deep Learning)

1.1 欢迎(Welcome)

神经网络和深度学习：学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们。

深度学习方面的实践：学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法（比如Momentum和Adam算法）

结构化机器学习工程：构建机器学习系统的策略（举个例子：你分割数据的方式，分割成训练集、比较集或改变的验证集，以及测试集合）改变了深度学习的错误

卷积神经网络(CNN(s)：被用于图像领域（CV）。在第四门课程中学到如何搭建这样的模型

自然语言处理（NLP）：构建序列模型（RNN,LSTM等）

1.2什么是神经网络？(What is a Neural Network)

神经网络被给予了足够的训练样本有关X和Y。神经网络非常擅长计算从X到Y的精准映射函数。

只要尝试输入一个x，即可把它映射成y。

1.3 神经网络的监督学习(Supervised Learning with Neural Networks)

1.4 为什么深度学习会兴起？(Why is Deep Learning taking off?)

许多算法方面的创新，一直是在尝试着使得神经网络运行的更快。（作为一个具体的例子，神经网络方面的一个巨大突破是从sigmoid函数转换到一个ReLU函数。）

事实上，如今最可靠的方法来在神经网络上获得更好的性能，往往就是要么训练一个更大的神经网络，要么投入更多的数据。注意，这只能在一定程度上起作用，因为最终你耗尽了数据，或者最终你的网络是如此大规模导致将要用太久的时间去训练。

第二周：神经网络的编程基础(Basics of Neural Network programming)

2.1 二分类(Binary Classification)

2.2 逻辑回归(Logistic Regression)

2.3 逻辑回归的代价函数（Logistic Regression Cost Function）

2.18 （选修）logistic 损失函数的解释（Explanation of logistic regression cost function）

a)单样本

b)m个样本

2.4 梯度下降法（Gradient Descent）

**a）**单参数

**b）**双参数

2.9 -2.10逻辑回归中的梯度下降（Logistic Regression Gradient Descent）

a）单样本

b）m 个样本

2.11- 2.14向量化(Vectorization)

a)前向传播(m个样本)

b)后向传播(m个样本)

第三周：浅层神经网络(Shallow neural networks)

3.6 激活函数（Activation functions）

1）

2）

3）

4）

3.7 为什么需要非线性激活函数？（why need a nonlinear activation function?）

3.11 随机初始化（Random+Initialization）

1）问题

2）解决

3.9 神经网络的梯度下降（Gradient descent for neural networks）

1）维度变换

2）正向传播

3）损失函数与反向传播

3.10（选修）直观理解反向传播（Backpropagation intuition）

第四周：深层神经网络(Deep Neural Networks)

4.2 -4.3前向传播和反向传播（Forward and backward propagation）

单样本->m样本（向量化）

4.4 核对矩阵的维数（Getting your matrix dimensions right）

1)单样本

2)m样本

4.5 为什么使用深层表示？（Why deep representations?）

1）解释一（提取特征）

2）解释二（电路理论）

4.6 搭建神经网络块（Building blocks of deep neural networks）

4.7 参数VS超参数（Parameters vs Hyperparameters）