机器学习常用数学定义总结

二次规划：

是在有线性约束条件的情况下，最小化或最大化多个变量的二次函数(函数的最高次为二次的函数)。二次规划是一种特殊的非线性规划。

线性规划：

是在有线性约束的条件下，优化多个变量的线性函数。（与二次规划的区别在于，目标函数为线性函数。）

对偶问题：

是实质相同但从不同角度提出不同提法的一对问题。

正定矩阵：

(1)定义：
设M是n阶方阵，如果对任何非零向量z，都有zTMz> 0，其中zT 表示z的转置，就称M为正定矩阵。
(2) 性质：
行列式恒为正
实对称矩阵A正定当且仅当A与单位矩阵合同；
若A是正定矩阵，则A的逆矩阵也是正定矩阵；
两个正定矩阵的和是正定矩阵；
正实数与正定矩阵的乘积是正定矩阵。

拉格朗日乘子法：

(1)设目标函数为minf(x),约束条件(等式)：s.t. hi(x)=0,i=1,2…,m
把等式hi(x)用一个系数与目标函数f(x)写为一个式子，成为拉格朗日函数，而系数称为拉格朗日乘子：
约束条件为一个等式：

u为拉格朗日乘子，通过对拉格朗日各个变量求导，令其为零，可以求得候选值集合，然后验证求得最优值。
要想得到最小值，则需满足f(x)的梯度=u*h(x)的梯度，u为常数。=>令L(x,u)对x的梯度为零，即可求得最优解。
(2)约束条件为多个等式：

f(x)为目标函数，ui为拉格朗日乘子，hi(x)为约束条件。
要想得到最小值。=>令L(x,u)对x的梯度为零，即可求得最优解。