《神经网络设计》读书笔记——性能曲面和最优点

《神经网络设计》读书笔记——性能曲面和最优点

理论

性能学习

一种重要的学习规则，通过调整参数优化网络性能

性能指数

衡量网络性能的定量标准，网络性能良好时很小，反之很大

优化过程

定义性能指数，通过调整神经网络的权重和偏置减小性能指数

数学知识

泰勒级数

• 泰勒级数展开式
• 梯度
• 赫森矩阵

方向导数

• 一阶方向导数
• 二阶方向导数

极小点

• 强极小点
• 全局极小点
• 弱极小点
• 鞍点
• 驻点

正定矩阵

• 正定矩阵
• 半正定矩阵

最优化的必要条件

一阶条件

一个极小点处的梯度一定为零（驻点），这是局部极小点的一阶必要条件（不是充分条件）

二阶条件

一个正定的赫森矩阵是一个强极小点存在的二阶充分条件，但不是必要条件。
如果泰勒级数的二阶项为零，但三阶项为正，仍可能存在强极小点。
强极小点存在的充分必要条件是赫森矩阵为半正定矩阵。

二次函数

• $F(x)={1\over2}x^TAx+d^Tx+c$

梯度

• $\nabla F(x)=Ax+d$

赫森矩阵

• $\nabla ^2F(x)=A$

方向导数

• $\lambda_{min} \leq {{p^TAp}\over{||p||^2}} \leq\lambda_{max}$