神经网络基础算法

1. logistic分类器
   http://blog.csdn.net/pakko/article/details/37878837
   （关于sigmoid函数的选取原因参考：http://www.zhihu.com/question/35322351）

2. BP（逆向传播）算法
   http://deeplearning.stanford.edu/wiki/index.php/%E5%8F%8D%E5%90%91%E4%BC%A0%E5%AF%BC%E7%AE%97%E6%B3%95

   基于梯度下降算法进行参数寻优，有可能陷入局部最小。常见解决思路：

3. 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。相当于从多个不同的初始点开始搜索，这样就可能陷入不同的局部最小，从中进行选择有可能获得更接近全局最小的结果。
4. 模拟退火法
5. 随机梯度下降
6. 遗传算法