神经网络训练细节part1

神经网络的训练步骤。

神经网络的理解

激活函数的直接理解

sigmod函数作为激活函数的第一个问题：

    梯度弥散（因为如果到了饱和区域 则梯度趋近于0）

    输出结果不关于零点对称

    计算复杂度较高

tan(h(x))作为激活函数的问题：

学习率太高容易导致一种问题就是：容易使得某些神经元不会被数据集中任何数据所激活。这些神经元就像你整个神经网络中死去的部分。

解决方法：

什么激活函数，什么反向流转的动态过程巴拉巴拉很复杂。

联系指的是各个激活函数之间的联系。

研究的热点：梯度传播的问题和神经元失活的问题。

数据预处理：数据的归一化和白化处理。

PCA方法不能应用于图像处理的原因。

 

权重初始化：（很重要的问题）

如果初始所有权值都为0的话：