最小二乘法有微积分和线性代数形式的，这里介绍线性代数形式的。
可以解决的问题
可用于研究最优解问题。诸如数据的拟合曲线，又称回归分析。
介绍
1.举例
解方程： 3 x = 10 ， 4 x = 5 3x=10，4x=5 3x=10，4x=5.
这是最简单的情形，却能很简单说明问题的关键，就是方程无解。实际问题通常是无解的，解无解方程的方法就是解出一个最优解，数学理论和生活哲理此处相通。
将方程写成矩阵形式
( 3 4 ) x = ( 10 5 ) \begin{pmatrix} 3\\ 4\\ \end{pmatrix}x= \begin{pmatrix} 10\\ 5\\ \end{pmatrix} (34)x=(105)
用字母代替数字
a x = b ax=b ax=b
这里a，b都是列向量，行向量也可以，为了研究矩阵方便，写成列向量形式。
向量ax只能等于与向量a平行的向量，现在b向量不于a平行，所以无解。那么最优解就是在ax中找出一个于向量b最接近的向量。二维向量b可分解为与a平行，与a垂直两部分。
这里的理论依据是向量a以及向量a的垂直向量是二维平面的一组基，平面内任何向量都可以这组基的线性组合表示。
于是可设
b = e + p b=e+p b=e+p
其中 a ⊥ e , a ∥ p a\perp e,a\parallel p a⊥e,a∥p.p就是b在a上的投影，所以
p = a T ⋅ b ∥ a ∥ ⋅ a ∥ a ∥ = a T ⋅ b ∥ a ∥ 2 a p=\frac{
{a}^{T}\cdot b}{\parallel a \parallel } \cdot \frac{a}{\parallel a \parallel}=\frac{
{a}^{T}\cdot b}{\parallel a \parallel^{2}}a p=∥a∥aT⋅b⋅∥a∥a=∥a∥2
最低0.47元/天 解锁文章
1126
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
