机器学习--正规方程法09

总损失定义为：
把损失函数分开书写：
​​
对展开上式进行求导：

需要求得求导函数的极小值，即上式求导结果为0，经过化解，得结果为：

经过化解为：

这就是正规方程的计算公式。

导入包

import numpy as np
from numpy import genfromtxt
import pandas as pd
import matplotlib.pyplot as plt 

读入数据

data = pd.read_csv("data.csv", delimiter=",", header=None)
x_data = data.iloc[:,0]
y_data = data.iloc[:,1]
x_data = x_data[:,np.newaxis]
y_data = y_data[:,np.newaxis]
print(x_data.shape,y_data.shape)
plt.scatter(x_data,y_data)
plt.show()

• (100, 1) (100, 1)
• 

# 给样本添加偏置项
X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)
print(X_data.shape)

(100, 2)

print(X_data[:3])

[[ 1. 32.50234527]
[ 1. 53.42680403]
[ 1. 61.53035803]]

标准方程法求解回归参数

def weights(xArr, yArr):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    xTx = xMat.T*xMat # 矩阵乘法
    # 计算矩阵的值,如果值为0，说明该矩阵没有逆矩阵
    if np.linalg.det(xTx) == 0.0:
        print("This matrix cannot do inverse")
        return
    # xTx.I为xTx的逆矩阵
    ws = xTx.I*xMat.T*yMat
    return ws

ws = weights(X_data,y_data)
print(ws)

[[7.99102098]
[1.32243102]]

预测

x_test = np.array([[20],[80]])
y_test = ws[0] + x_test*ws[1]
plt.plot(x_data, y_data, 'b.')
plt.plot(x_test, y_test, 'r')
plt.show()