吴恩达机器学习笔记_第五周

神经网络——模型学习

 

Cost Function:从逻辑回归推广过来

计算最小值，无论用什么方法，都需要计算代价和偏导。

 

网络结构的前向传播和可向量化的特点：

 

BP算法：

 

总结：计算代价函数及偏导

 

进一步理解FPBP：

 

 

梯度检验:避免BP发生的小错误

确保自己的确在计算代价函数的偏导数,对于向量形式,可以这么检验:

检验无误后要记得关掉检验功能,否则速度会慢.记得!!

数值方法计算梯度比BP算法慢.

 

随机初始化权值:

都初始化为0的后果:

这样相当于每个神经元学习的东西都相同,相当于只在计算一个特征,这是完全多余的做法.所以要打破对称性.

随机初始化为一个区间内的接近0的小数.

 

总结:

1、选择网络结构:

通常隐藏层一般越多越好,但计算量会大,一般默认一层隐藏层是比较合理的结构,隐藏层的数目稍微大于输入层数目是可以接受的.

2、训练网络

 

给了个无人驾驶的例子