Least-squares and linear programming

转载（http://blog.sina.com.cn/s/blog_4b12446d01014imv.html）

1、最小二乘可以视为一个没有限制条件的优化问题。

最小二乘问题的求解可以简化为求解一系列线性方程。由于矩阵A不一定是可逆矩阵，但是和转置矩阵相乘后就变的可逆了。

        最小二乘问题是回归分析、最优控制、参数估计等问题的基础，具有一系列统计方面的解释。例如向量的最大似然估计，以及受高斯测量误差影响的线性测量。识别一个优化问题是最小二乘问题是比较直观的，只需要验证目标函数是一个二次函数（并验证相关的二次函数是半正定的）。此外还有一些常用方法来增加最小二乘问题的灵活性，如加权最小二乘、以及最小二乘的正则化。

最小二乘的正则化是指在代价函数中加入额外的项。

额外的项是指将变量的平方和与一个正的乘数因子相乘。当上式第一项不能很好的实现最小化时，额外项可以对较大的变量值起到惩罚作用，进而得到更敏感的解决方案。正则化的方法往往用在统计估计中，尤其是在当已知待估计的变量服从预先的分布的情况下。

2、线性规划问题是指目标函数和所有的限制条件都是线性的。

求解线性规划问题没有简单的公式，但是存在一些高效的算法。比如单纯形法和内点算法。但是各种算法需要的计算量并不像最小二乘一样容易推算出来。对于一些应用而言，可能不具有标准的线性规划的形式，但是可以通过变换转换成等价的线性规划问题。