为什么需要深度神经网络
深度:层次多、神经元的个数多
L = 4(层数,输入层不算)
n[1] = 3 (第一层有3个神经元)
层次性
这样的层次性,使得迁移学习(用识别人脸的神经网络,改变后面几层,去识别猴子)成了可能。
如何计算深度神经网络
前向传播
反向传播
回顾浅层神经网络:
深度神经网络:
核对矩阵的维度
理解矩阵乘法,就会好很多
--
训练m个样本时的维度
参数和超参数
参数:
w、b
超参数:
在构建神经网络时,我们有很多选择要做。比如学习率learning_rate,神经网络的层数L,每一层应该有多少个神经元n[L],训练次数num_iterations,每一层选用什么激活函数g等等。这些选择都会影响到w和b的结果
监督学习/无监督学习
监督学习:输入的数据 有标签(答案)
无监督学习:输入的数据 没有标签(答案)
例子:
监督学习-高考:训练集==模拟题+答案,不断训练我的解题方法,数据集==新题,我能解答
监督学习-分类:训练集==特征+标签,数据集==新数据,预测是否是猫
无监督学习-聚类:输入的数据没有标签,关键在于把相似的东西聚在一起,而我们并不关心这一类是什么标签