机器学习2-正规方程的学习

目录

一、最小二乘法矩阵表示：

​二、多元一次方程举例：

1、二元一次方程 

1、用线性代数解法：

 2、用正规方程解法：​

2、三元一次方程 

 正规方程解法：

3、八元一次方程 

1、正规方程解法： 

 2、sklearn算法解正规方程：

---

一、最小二乘法矩阵表示：

  最小二乘法可以将误差方程转化为有确定解的代数方程组（其方程式数目正好等于未知数的个数），从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程。公式如下：

公式是如何推导的？

最小二乘法公式如下：

二、多元一次方程举例：

先导包：

import numpy as np
import matplotlib.pyplot as plt
# linear线性，model模型、算法
# LinearRegression：线性回归
from sklearn.linear_model import LinearRegression

1、二元一次方程 

1、用线性代数解法：

X = np.array([[1,1],[2,-1]])
X

y = np.array([14,10])
y

 

# linalg 线性代数，slove计算线性回归问题
np.linalg.solve(X,y)

 2、用正规方程解法：

A = X.T.dot(X)
# 逆矩阵
B = np.linalg.inv(A)
# 向量点乘运算
C = B.dot(X.T)
C.dot(y)

2、三元一次方程 

 

 正规方程解法：

X = np.array([[1,-1,1],[2,1,-1],[3,-2,6]])
y = np.array([100,80,256])
w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

3、八元一次方程 

1、正规方程解法： 

# 上面八元一次方程对应的X数据
X = np.array([[  0 ,14 , 8 ,  0 ,  5,  -2,   9,  -3],
 [ -4 , 10 ,  6 ,  4 ,-14 , -2 ,-14  , 8],
 [ -1 , -6  , 5 ,-12 ,  3 , -3 ,  2 , -2],
 [  5 , -2  , 3 , 10  , 5 , 11 ,  4  ,-8],
 [-15 ,-15  ,-8 ,-15 ,  7 , -4, -12 ,  2],
 [ 11 ,-10 , -2 ,  4  , 3 , -9 , -6 ,  7],
 [-14 ,  0 ,  4 , -3  , 5 , 10 , 13 ,  7],
 [ -3 , -7 , -2 , -8  , 0 , -6 , -5 , -9]])
# 对应的y
y = np.array([ 339 ,-114  , 30 , 126, -395 , -87 , 422, -309])
display(X,y)

 

# 正规方程
w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
w

 2、sklearn算法解正规方程：

# fit_intercept = False 不计算截距！！！
model = LinearRegression(fit_intercept = False)
# X 数据；y 目标值
# X ---> y
# 查看X，y
display(X,y)
# 计算结果
model.fit(X,y)
# coef_ 结果，返回值
# 系数，斜率，W，方程的解
model.coef_

 

# 默认计算截距
model.intercept_

 

如果我们fit_intercept=False中的False改成True，要让它计算截距怎么办呢？

我们需要自行增加截距！我设截距为12.

# 设截距是12
# 目标值进行移动，向上移动，加法运算
print('截距是0：',y)
y += 12
print('增加了截距',y)

 

 首先我们要清楚线性回归的方程解析式：

 其中b是一个未知变量，需要进行方程求解。我们可以把b看做w0*1。

这样我们可以对每一个方程新增加一列1：

# 向其后面增加一列
X = np.concatenate([X,np.full(shape = (8,1),fill_value=1)],axis = 1)
X

 正规方程求解： 

np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

 sklearn算法求解：

model = LinearRegression(fit_intercept=False)
model.fit(X,y)
display(model.coef_,model.intercept_)

 从两种方法求解的结果可知，结果并不是正确的。什么原因呢？

        我们先看看X的形状：

X.shape

        原因如下：8代表8个方程，9代表计算的未知数。当我们增加了新的一列，意味着未知数都增加了一个，但是方程个数没有增加。即8个9元1次方程，没有固定解，我们还需要增加一个新的方程变成9个9元1次方程，这样才有唯一解！！！

 增加一个方程：

# 第9个方程
X9 = np.random.randint(-15,15,size = 8)
X9

# 标准答案
w = np.array([ 1.,  5., 15.,  3.,  8.,  4., 17., 12.])
# 上面的8个方程，都有截距是12，第九个方程也一样
X9.dot(w) + 12

y = np.concatenate([y,[X9.dot(w) + 12]])
y

# 第9个方程增加一列1
X9 = np.concatenate([X9,[1]])
X9

# 将第九个方程和前面八个方程合并
X = np.concatenate([X,[X9]])
X

 先用正规方程求解9个9元1次方程是否正确：

np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)

 从结果可知，是正确的！然后我们用sklearn算法试试：

计算截距时：

# 四舍五入，截距：12
model = LinearRegression(fit_intercept=True)
model.fit(X,y)
display(model.coef_,model.intercept_)

 从结果可知，array中有个0，这怎么理解呢？

        我们可以理解成权重，0代表的是没有权重，意思是我们在计算截距的时候，w0是我们自己假设出来的（因为在原方程中并没有截距），sklearn最终在计算的时候，把他理解成0权重了。而计算出的截距为11.999999时，我们自动四舍五入就好了。而计算出的截距为11.999999时，我们自动四舍五入就好了。

未计算截距时：

model = LinearRegression(fit_intercept=False)
model.fit(X,y)
display(model.coef_,model.intercept_)

 

 从计算结果可知结果是正确的！

当我们把截距去掉时，变成9个8元一次方程时，再计算截距再来看看结果：

我们先看看X是怎样的：

X

去掉1后： 

# [:-x] 表示 除了最后 x 个元素构成的切片
# [-x:] 表示 最后 x 个元素构成的切片
X[:,:-1]

 计算结果：

# 四舍五入，截距：12
model = LinearRegression(fit_intercept=True)
# 截距去掉！
model.fit(X[:,:-1],y)
display(model.coef_,model.intercept_)

 从结果可知，array中只有8位，截距为11.99999999，四舍五入进为12就好了。