神经网络优化总结：

ONE：初始化：1，总体的初始方式：{1：zeros：全0初始化，对w不能用，一般对b用；2：random：随机化，随机性较强，通常配合缩小系数使用；3：he：*np.sqrt(1||2/layer_size[l-1]),layer_size[l-1]是上一层的节点数或特征数（z=w1*x1+w2*x2+...+wn*xn),n大了，数多了，通过加数目乘法系数减小过拟合效果。}

2，每一层初始方式：批量归一化：{由对特征的归一化延申，现在对每层的z归一化（A的上一级），同时由于归一化矩阵为平均值为0，方差为1，为了更好体现特征，引入参数fan，beta，即znorm1 = fan*znorm0 + beta。znorm在每一次前向传播更新，并且带入A的运算，参数和theta，b在反向传播中更新）

SECOND：算法：1，批量选择：{1：总体；2：随机：一次一个数据，随机性强，波动大，快；3：mini-batch:一次一组}

2，反向传播方式的选择：{1：普通迭代；2：v：指数平均，波动平均收缩，水平平均累计；3：adam'：v+s：在2的基础上，进行根据导数大小相应的乘法}

3.正则化：{常用：1:l2;2:dropout节点抛弃：具有一定随机性，注意操作对象是A和dA，同时/保留系数。}

THREE：梯度检验，用平均去逼近 以及 超参数的范围先大概定论在细致尝试