控制工程机器学习数学基础

方差：

标准差：

均方差（mean square error,MSE）：
均方误差是反映估计量与被估计量之间差异程度的一种度量，换句话说，参数估计值与参数真值之差的平方的期望值。MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。

协方差：
协方差在概率论和统计学中用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

海塞矩阵：
黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。
二元函数中，在x=0点用拉格朗日定理逼近原函数时有

其中G为海塞矩阵：
同理，多元函数二阶求导可得海塞矩阵：

如果函数 F在区域D内二阶连续可导，那么黑塞矩阵在D内为对称矩阵。
设n多元实函数F在点M的邻域内有二阶连续偏导，对于海塞矩阵A
（1）当A正定矩阵时， 在M处是F的极小值；
（2）当A负定矩阵时， 在M处是F的极大值；
（3）当A不定矩阵时， M不是F的极值点。
（4）当A为半正定矩阵或半负定矩阵时， M是“可疑”极值点，尚需要利用其他方法来判定。

雅可比矩阵：
在向量分析中，雅可比矩阵是函数的一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。

奇异值分解：

其中U是m×m阶酉矩阵；Σ是半正定m×n阶对角矩阵；而V*，即V的共轭转置，是n×n阶酉矩阵。这样的分解就称作M的奇异值分解。Σ对角线上的元素Σi，其中Σi即为M的奇异值。