吴恩达 神经网络 深度学习

2.1 二分分类

pixel 像素

rgb 0-255表示 红绿蓝的程度

64*64的图像，输入就是64*64*3的向量

 

要利用reshape来避免产生(n,)的数组，A.resahpe(n,1)即可

 

3.*

tanh比sigmoid绝大多数表现好（平移是一样的）tanh‘（0）=1

 

激活函数必要性：否则就只是输入的线性组合，隐藏层失去意义

 

relu输入为0时概率很低，即使为0也可以人为定义一个导数值（即使导数不存在）梯度变为次梯度

 

10.神经网络的反向传播公式推导****

利用链导法则

 

11.初始化

逻辑回归可以初始化为0

但是神经网络不可以(W不可以，b可以初始化为0)

权重完全初始一样的话，所对应隐层神经元就会完全一样

(每一步输出都一样，反向传播之后的修改就一样)

初始化权重要小，因为用tanh或者sigmoid，输出大了之后反向传播梯度就会特别小，浅层用0.01就可以了，深层的需要使用其他的常数，但也要保证较小