一、课程
4.4 矩阵维数
本层w、dw的维数:***w(本层神经元个数,上一层神经元个数) ***
本层z和b、db的维数:b或z(本层神经元个数,1)
若向量化,x输入变成(n,m),则z、A、dz、dA、b、db也变为(n,m),w和dw不变
4.5 为什么使用深层表示
人脸识别,神经网络第一层的神经元检测提取横向或纵向的轮廓线条和边缘;第二层将第一层学得的边缘特征信息,组合成人脸局部结构,例如眼睛、嘴巴等;再后一层学到该人脸整体特征。
学习过程由整体到局部,由简单到复杂。
语音识别,第一层网络学到发音基本音调c——柯,后面深层的网络可以检测到基本的音素cat,再到单词信息,逐渐加深可以学到短语、句子。
神经网络在处理异或问题有两种结构:1.多隐藏层,小(隐藏单元数目)且深(隐藏层数目);2.单隐藏层,大(隐藏单元数目)且浅(隐藏层数目)
1.多隐藏层(深度神经网络),每层将前一层的相邻的两单元进行异或,网络为树状,网络的深度为O (log 2 (n)),共使用的神经元的个数为:n−1。即输入个数为n,输出个数为n-1。
2.单隐藏层,需要的神经元个数为 21 个 。同样的问题,深层网络要比浅层网络需要的神经元个数要少得多。
4.6 搭建深度神经网络块
蓝色箭头为前向传播(Forward propagation),红色箭头为反向传播(Backward propagation),绿色箭头为一轮循环过程
计算i层前向传播时,会把i层算出的z、w、b值缓存(cache)起来,等到算i层反向传播时,直接拿出来用
4.2 前向和反向传播
成本函数为损失函数再除以样本量m
给定一些参数:
前向传播(Forward propagation)
反向传播(Backward propagation)
4.7 参数和超参数
参数是我们在过程中想要模型学习到的信息
超参数是为控制参数结果的一些网络信息,也就是超参数的改变会导致最终得到的参数 w、b的改变。
二、代码
n-1 ↩︎