python最小二乘法求a b_python_numpy实用的最小二乘法理解

最小二乘法解决的问题：Ax=C 无解下的最优解

例子1：

一条过原点的直线OA，C是直线外一点，求C在OA上的投影点P

例子1

例子2：

已知三个不在一条直线上的点A,B,C，求一条直线，使A,B,C到直线的距离和最小

例子2

例子3：

已知三个不在一条直线上的点A,B,C，求一点，到A,B,C的距离和最小

例子3

其实这3个例子的本质都是一样的。都是求未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

以第一个例子为例：

Ax=C 无解

要求||Ax-C||^2最小

A.TAx'=A.TC

x'=(A.TA)^(-1)A.TC

P=Ax'

公式推导

同理，例子2，3中都需要写成Ax=C 的形式，求最优解。

只是例子2中的最优解是直线y=ax+b中的a，b。例子3中的最优解是P的坐标P(xp,yp)。

使用程序求例子1：A(3,1),C(1,3)

CODE

import numpy as np

from matplotlib import pyplot as plt

A = np.array([[3],[1]])

C = np.array([[1],[3]])

#x'=(A.TA)^(-1)A.TC

B = A.T.dot(C)

AA = np.linalg.inv(A.T.dot(A))#求A.T.dot(A)的逆

l=AA.dot(B)

#P=Ax'

P=A.dot(l)

x=np.linspace(-2,2,10)#x.shape=(10,)

x.shape=(1,10)

#画出直线y=ax

xx=A.dot(x)

fig = plt.figure() #figsize=(10,6)

ax= fig.add_subplot(111)

ax.plot(xx[0,:],xx[1,:])

#画出A点

ax.plot(A[0],A[1],'ko')

#画出C点，P点

ax.plot([C[0],P[0]],[C[1],P[1]],'r-o')

#画出OC线

ax.plot([0,C[0]],[0,C[1]],'m-o')

#画出坐标轴x=0,y=0

ax.axvline(x=0,color='black')

ax.axhline(y=0,color='black')

#标写每个点的字母

margin=0.1

ax.text(A[0]+margin, A[1]+margin, r"A",fontsize=20)

ax.text(C[0]+margin, C[1]+margin, r"C",fontsize=20)

ax.text(P[0]+margin, P[1]+margin, r"P",fontsize=20)

ax.text(0+margin,0+margin,r"O",fontsize=20)

ax.text(0+margin,4+margin, r"y",fontsize=20)

ax.text(4+margin,0+margin, r"x",fontsize=20)

plt.xticks(np.arange(-2,3))

plt.yticks(np.arange(-2,3))

ax.axis('equal')

plt.show()

结果：

例子1结果