MLer

拉格朗日乘子法（Lagrange Multiplier) 和KKT条件

0.618法又称黄金分割法，是优选法的一种。是在优选时把尝试点放在黄金分割点上来寻找最优选择。0.618法是根据黄金分割原理设计的，所以又称之为黄金分割法。优选法是一种求最优化问题的方法。

范数，是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。

秦九韶算法是一种将一元n次多项式的求值问题转化为n个一次式的算法。其大大简化了计算过程，即使在现代，利用计算机解决多项式的求值问题时，秦九韶算法依然是最优的算法。 结论：对于一个n次多项式，至多做n次乘法和n次加法。

介在线性代数中， LU分解(LU Decomposition)是矩阵分解的一种，可以将一个矩阵分解为一个单位下三角矩阵和一个上三角矩阵的乘积（有时是它们和一个置换矩阵的乘积）。LU分解主要应用在数值分析中，用来解线性方程、求反矩阵或计算行列式。

Cholesky 分解是把一个对称正定的矩阵表示成一个下三角矩阵L和其转置的乘积的分解。它要求矩阵的所有特征值必须大于零，故分解的下三角的对角元也是大于零的。Cholesky分解法又称平方根法，是当A为实对称正定矩阵时，LU三角分解法的变形。如果矩阵A为n阶对称正定矩阵，则存在一个对角元素为正数的下三角实矩阵L，当限定L的对角元素为正时，这种分解是唯一的，称为Cholesky分解。

QR分解法是三种将矩阵分解的方式之一。这种方式，把矩阵分解成一个正交矩阵与一个上三角矩阵的积。QR 分解经常用来解线性最小二乘法问题。QR 分解也是特定特征值算法即QR算法的基础。同时，QR分解后的矩阵与原矩阵的条件数保持一致。QR分解的实际计算有很多方法，例如Givens旋转、Householder变换，以及Gram-Schmidt正交化等等。每一种方法都有其优点和不足。

考虑线性方程组Ax = b时，一般当A为低阶稠密矩阵时，用主元消去法解此方程组是有效方法。但是，对于由工程技术中产生的大型稀疏矩阵方程组（A的阶数很高，但零元素较多，例如求某些偏微分方程数值解所产生的线性方程组），利用迭代法求解此方程组就是合适的，在计算机内存和运算两方面，迭代法通常都可利用A中有大量零元素的特点。Jacobi、Gauss-Seidel迭代法就是解决其中问题的两种方法。

牛顿迭代法（Newton’s method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x) = 0的根。

若函数有实根，则函数曲线应当在根x*这一点上与x轴有一个交点，并且由于函数在根附近的左右区间内，函数值的符号应当相反。利用这一特点，可以通过不断将求根区间二分的方法，每次将求根区间缩小为原来的一半，在新的折半后的区间内继续搜索方程的根，对根所在区间继续二分，直到求出方程的根为止。

插值法利用函数f(x)在某区间中若干点的函数值，作出适当的特定函数，在这些点上取已知值，在区间的其他点上用这特定函数的值作为函数f(x)的近似值。具有唯一性，需要求解各阶差商。如果这特定函数是多项式，就称它为插值多项式。

对实践中的某个物理量进行观测，在若干个不同的地方得到相应的观测值，拉格朗日插值法可以找到一个多项式，其恰好在各个观测的点取到观测到的值。这样的多项式称为拉格朗日（插值）多项式。

复化求积公式(composite integration rule )一类重要的求积公式，指将求积区间分为n个子区间，对每个子区间应用同一求积公式，所得到的复合数值积分公式。

高斯求积公式是变步长数值积分的一种，基本形式是计算[-1,1]上的定积分。理论证明对于 n个节点的上述求积公式，最高有 2n - 1 次的代数精度，高斯公式就是使得上述公式具有 2n - 1次代数精度的积分公式。

常微分方程数值解法(numerical methods forordinary differential equations)计算数学的一个分支.是解常微分方程各类定解问题的数值方法.现有的解析方法只能用于求解一些特殊类型的定解问题，实用上许多很有价值的常微分方程的解不能用初等函数来表示，常常需要求其数值解。所谓数值解，是指在求解区间内一系列离散点处给出真解的近似值。