深度学习——优化方法

【优化方法】
（1）激活函数，有逻辑函数、sigmoid函数、softmax函数、Rectified Linear等。
（2）反向传播更新w和b的函数有：实际值与预测值之差的二次函数、cross-entropy函数、log-likelyhood函数等。
（3）overfitting指的是在training set中结果很好，但在test set中结果不好，解决方法有扩大training set（比如：原始集旋转后的集合），增加validation set，采用Regulization L1/L2方法（优化反向参数更新方程），Dropout方法（优化神经网络结构），Rectified Linear Units替代sigmoid可避免overfitting（不同层学习率差别大的问题）。
（4）可以采用验证集validation set来评估训练集training set是否overfitting，最后通过测试集test set测试结果。
（5）优化初始化参数生成的正态分布函数，均值为0，标准差为1/sqrt(num_input)，可以提高最终结果的精度、减少训练次数加快收敛速度。
（6）提高最终的准确率方法：扩大训练集、采用CNN+NN的方法，激活函数采用Rectified Linear，Dropout方法，Ensemble of network（训练多个神经网络之后投票解决最终结果）等。

当神经网络的层数变多后成为深度网络，由于梯度下降算法的固有缺点会导致逐层网络中的偏移量b的学习率会逐渐变小或变大，出现学习不稳定的现象，导致参数更新有问题vanishing gradient。可以将原先神经元中的sigmoid激活函数换成Max函数Rectified Linear Function（ReL）得以解决。

CNN本身的convolution层对于overfitting有防止作用：共享的权重造成convolution filter强迫对于整个图像进行学习。使用CNN可以大大减少参数数量。

目前最终的神经网络有20多层