1.4 深度神经网络（前向反向传播通用公式、维度、参数/超参数、监督/无监督学习）

为什么需要深度神经网络

深度：层次多、神经元的个数多

L = 4（层数，输入层不算）

n[1] = 3 （第一层有3个神经元）

层次性

这样的层次性，使得迁移学习（用识别人脸的神经网络，改变后面几层，去识别猴子）成了可能。

如何计算深度神经网络

前向传播

反向传播

回顾浅层神经网络：

深度神经网络：

核对矩阵的维度

理解矩阵乘法，就会好很多

 

 -- 

训练m个样本时的维度

参数和超参数

参数：

w、b

超参数：

在构建神经网络时，我们有很多选择要做。比如学习率learning_rate,神经网络的层数L，每一层应该有多少个神经元n[L]，训练次数num_iterations，每一层选用什么激活函数g等等。这些选择都会影响到w和b的结果

监督学习/无监督学习

监督学习：输入的数据 有标签（答案）

无监督学习：输入的数据 没有标签（答案）

例子：

监督学习-高考：训练集==模拟题+答案，不断训练我的解题方法，数据集==新题，我能解答

监督学习-分类：训练集==特征+标签，数据集==新数据，预测是否是猫

无监督学习-聚类：输入的数据没有标签，关键在于把相似的东西聚在一起，而我们并不关心这一类是什么标签

 代码

https://gitee.com/bijingrui1997/deep_learning_notes/tree/master/1.4%20%E6%B7%B1%E5%BA%A6%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C