偏向于理解，不涉及证明
优化问题
概念
根据某些标准从一些可用的替代方案中选择一个最佳元素。
损失函数
将事件或一个或多个变量的值映射到一个实数上的函数，该实数直观地表示与相关联的一些“成本”事件
梯度/最速下降法
一种一阶迭代优化算法，用于寻找可微函数的局部最小值。
在当前点的函数梯度（或近似梯度）的相反方向上重复步骤，因为这是最陡下降的方向。
相反，在梯度方向上步进将导致该函数的局部最大值；该过程被称为梯度上升。
共轭梯度法
一种求解特定线性方程组（即矩阵为正定的方程组）数值解的算法，通常以迭代算法的形式实现，适用于太大而无法通过直接实现或其他直接方法（如Cholesky 分解）处理的稀疏系统。当数值求解偏微分方程或优化问题 时，通常会出现大型稀疏系统。
牛顿法
应用于二次可微函数f的导数f '，以求导数的根（f '( x ) = 0的解），也称为f的临界点 . 这些解可能是最小值、最大值或鞍点
拟牛顿法
准确性与牛顿法差不多，计算量较小
拉格朗日乘数
一种寻找受等式约束的函数的局部最大值和最小值的策略（即，必须满足一个或多个方程必须完全满足所选择的变量值的条件）
优化问题中的对偶
从两个角度（原始问题或对偶问题）中的任何一个角度看待优化问题的原理。如果原始问题是一个最小化问题，那么对偶就是一个最大化问题（反之亦然）。原始（最小化）问题的任何可行解至少与对偶（最大化）问题的任何可行解一样大。因此，原始解是对偶解的上界，对偶解是原始解的下界。
KKT条件
推广了拉格朗日乘数方法，它只允许等式约束。与拉格朗日方法类似，约束最大化（最小化）问题被重写为一个拉格朗日函数，其最优点是鞍点，即选择变量域上的全局最大值（最小值）和全局最小值（最大值）乘数
参考资料
wiki-损失函数
wiki-数学优化
wiki-梯度下降
梯度下降算法原理讲解
wiki-共轭梯度法
共轭梯度法详解
wiki-牛顿优化
牛顿法细节以及实现
拟牛顿法详解
wiki-拟牛顿法
wiki-拉格朗日乘数
拉格朗日乘数法原理理解
wiki-对偶
KKT条件理解
wiki-KKT条件
156
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
