最小二乘法(Least square method)&RANSAC【学习笔记】

一、最小二乘法(Least Square Method)

1.1 线性回归概念【转自百度百科】

  线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为$y=wx+\epsilon$，$\epsilon$为误差服从均值为0的正态分布。

  在统计学中，线性回归（Linear Regression）是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归，大于一个自变量情况的叫做多元回归。（这反过来又应当由多个相关的因变量预测的多元线性回归区别，而不是一个单一的标量变量。）
  在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。
  线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其未知参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。
  线性回归模型经常用最小二乘逼近来拟合，但他们也可能用别的方法来拟合，比如用最小化“拟合缺陷”在一些其他规范里（比如最小绝对误差回归），或者在桥回归中最小化最小二乘损失函数的惩罚.相反,最小二乘逼近可以用来拟合那些非线性的模型.因此，尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。

1.2 最小二乘法(Least Square Method)

1.2.1 三种范数

  假设我们现在有一系列的数据点$(x_i,y_i)(i=1,\dots ,m)$，那么由我们给出的拟合函数$h(x)$得到的估计量就是$h(x_i)$。
  那么我们就有了残差：$r_i=h(x_i)–y_i$
  由此我们得到三种范数的定义：

1. $\infty$ 范数：残差绝对值的最大值，即所有数据点中残差距离的最大值：$\max |r_i|(1\le i\le m$
2. 1-范数：绝对残差和，即所有数据点残差距离之和：${\sum }_{i=1}^m|r_i|$
3. 2-范数：残差平方和：${\sum }_{i=1}^m{r}_i^2$

1.2.2 最小二乘法【原创详细推导】

  最小二乘法可以理解为通过最小化残差平方和，提升拟合度，以寻找数据的最佳函数描述数据。
  则最小二乘法可用下式表达：
$$LSM=\underset{k,b}{\min }\sum _{n=1}^N[y_n-(k\times x_n+b){]}^2$$
  这是一个无约束的最优化问题，分别对k和b求偏导，然后令偏导数为0，即可获得极值点。

$$d(LSM)=\sum _{n=1}^{N}2\times \left[y_n-(k\times x_n+b)\right](-x_n$$