吴恩达神经网络和深度学习笔记（广播，激活函数）

广播

A.sum(axis = 0)中的参数axis。axis用来指明将要进行的运算是沿着哪个轴执行，在numpy中，0轴是垂直的，也就是列，而1轴是水平的，也就是行

reshape 使用数组的reshape方法，可以创建一个改变了尺寸的新数组，原数组的shape保持不变

定义矩阵X等于训练样本，将它们组合成矩阵的各列，形成一个n维或n乘以m维矩阵:
可以通过训练样本来进行索引。这就是水平索引对应于不同的训练样本的原因，这些训练样本是从左到右扫描训练集而得到的

激活函数:使用一个神经网络时，需要决定使用哪种激活函数用隐藏层上，哪种用在输出节点上

在隐藏层上使用函数
： 效果总是优于sigmoid函数。因为函数值域在-1和+1的激活函数，其均值是更接近零均值的
如果使用tanh函数代替sigmoid函数中心化数据，使得数据的平均值更接近0而不是0.5.

方括号上标[1]代表隐藏层，方括号上标[2]表示输出层

sigmoid函数和tanh函数两者共同的缺点：在z特别大或者特别小的情况下，导数的梯度或者函数的斜率会变得特别小，最后就会接近于0，导致降低梯度下降的速度。

往期回顾

吴恩达神经网络和深度学习笔记（广播，激活函数）.
神经网络与深度学习笔记汇总一.
神经网络与深度学习笔记汇总二.
神经网络与深度学习笔记汇总三.
神经网络与深度学习笔记汇总四.
神经网络与深度学习笔记汇总五.