标准方程法
这是用来解线性回归的另一种方法,即通过数学的手段直接求出loss最小的解,二维的如下所示:
Cost function的矩阵表示
两种方法的比较
实战
第一步:导库、导数据
import numpy as np
import matplotlib.pyplot as plt
data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0,np.newaxis]
y_data = data[:,1,np.newaxis]
# 给样本添加偏置项
X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)
第二步:编写算法
# 标准方程法求解回归参数
def weights(xArr, yArr):
xMat = np.mat(xArr)
yMat = np.mat(yArr)
xTx = xMat.T*xMat # 矩阵乘法
# 计算矩阵的值,如果值为0,说明该矩阵没有逆矩阵
if np.linalg.det(xTx) == 0.0:
print("This matrix cannot do inverse")
return
# xTx.I为xTx的逆矩阵
ws = xTx.I*xMat.T*yMat
return ws
第三步:使用方法、可视化
ws = weights(X_data,y_data)
print(ws)
x_test = np.array([[20],[80]])
y_test = ws[0] + x_test*ws[1]
plt.plot(x_data, y_data, 'b.')
plt.plot(x_test, y_test, 'r')
plt.show()
这是我学习 覃秉丰老师的《机器学习算法基础》的自学笔记,课程在B站中的地址为:机器学习算法基础-覃秉丰_哔哩哔哩_bilibili