深度学习3

深度学习 （源自吴恩达课程）B站上的吴恩达课程

P36 深层神经网络
值得注意的是 在我们数神经网络有几层的时候是数除了输入层以外有几层。
L表示神经网络的层数；n[l]表示在l层上节点的数量；用a[l]表示l层的激活函数；w[l]表示下a[l]中计算z[l]值的权重；输入特征用x表示，但x也是第0层的激活函数所以a[0]=x；同样最后一层的a[l]=yhat

P37 深层网络中的前向传播
深层网络跟logisyic的过程一样

我们可以把这些公司简化成一个通式

而我们要把它向量化就是把小写变成大写

通式就是

在构建神经网络的时候，唯一不会出bug的情况就是自己认认真真的算一遍，特别是算好正在操作的矩阵的维度（下节课我们将举例说明）
P38 核对矩阵的维数
本节课会带你推到出w和b矩阵的维数
我们已知一个神经网络

先来看w[1]：根据z[1]=w[1]a[0]+b[1]先不管b[1]，要想让等式左右两边的维度相等，我们已知z[1] (3,1)、a[0] (2,1)，所以可以推导出w[1] 的维度是(3,2)

所以我们总结出w[l]=(n[l],n[l-1])

然后我们来看看b 因为b是用的+，我们知道想要维度一样只能是加上一个相同维度（向量）的所有我们可知b[1]=(3,1)。
所以我们可知b的通式是b[l]=(n[l],1)

同时，因为z[l]=g[l] (a[l])，所以z[l]的维度=a[l]的维度

对于反向传播来说：从维度上来说 dw=w，db=b

但是当向量化之后： z[l]=（n[l],m）；w不变； x[l]=（n[l-1],m）； 同时b也没有变化还是（n[l],1)，但当计算时再用一下Python的broadcasting会把b复制成一个（n[l],m）的矩阵让后进行逐元素相加

P40 搭建深层神经网络块

这是一个层数很少的神经网络，我们选择其中一层：
layer l:w**[l],b**[l]#在l层你有w**[l]和b**[l]
forward: Input a**[l-1],output a**[l]#前向传播（正向函数）
z**[l]=w**[l]乘x**[l-1] +b**[l]
a**[l]=g**[l] (z**[l])
cache z**[l]#把z**[l]缓存起来
backward：Input da**[l],output da**[l-1]#反向传播（反向函数） 有个细节我们输入的da**[l]包括前面已经缓存的z**[l]
用图片解释一下：（其中红色箭头表示反向传播）

让后我们看下整个神经网络的一个梯度下降循环，其中红色键依旧表示反向传播而且w和b每一次都会用w[l]=w[l]-αdw[l]和b[l]=b[l]-αdb[l]更新

P41 前向和反向传播（本节课大部分笔记在笔记本上）
把正向传播和反向传播用函数表到

最后说一句话：‘算法的复杂性源于数据而不是代码’

P42 参数 VS 超参数
想要你的神经网络七很好的效果，你还需要规划好你的参数以及超参数
超参数就是可以控制参数的变量，
参数是w和b
超参数是α（学习率）、循环的数量、隐层的数量、所用到的函数等等。 实际上在深度学习中我们会有很多超参数，比如momentum、mini batch的大小、几种不同的正则化参数等

本图讲的是我们在深度学习中的学习过程，从Idea（先有个想法）到Code（实现代码）到Experiment（实验、尝试、变成行动）尝试后看看有什么可以改进的再进行循环。如果你不确定什么值是最好你可以先尝试α的一个值（现在拿α的合适值做说明）然后在看看损失函数J的值有没有下降。给定不同的α，J的的变化情况也会不同从而描绘出一个图像从而断定那个α最好（从图像上来看最下面一个是最合适的，因为它会最大限度的加快学习过程，并且收敛到更低的损失函数值上）

当然因为电脑的基础设施最优值可能会发生变化，所以要勤于检查。
P43 这和大脑有什么关系？
神经网络和大脑之间其实关系不大，可能在出现神经网络的时候参考了大脑，但到目前为止大脑也没有被人类弄明白，所以这个类比不成立。