读书笔记：机器学习（第5章）

跳出局部最小的策略

• 以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数
  • 相当于从多个不同的初始点开始搜索，这样就可能陷入不同的局部最小，从中选择有可能获得更接近全局最小的结果
• 模拟退火(simulated annealing)技术
  • 在每一步都以一定的概率接受比当前更差的结果，从而有助于跳出局部最小
  • 注意：在每步迭代过程中，接受次优解的概率要随着时间的推移而逐渐降低，从而保证算法稳定
• 随机梯度下降法

注意：上述策略在理论上是尚缺乏保障

PS：本文大部分公式和图片都来自于周志华老师的《机器学习》，有理解不对的地方，欢迎指正