机器学习（标准方程法）

标准方程法

        这是用来解线性回归的另一种方法，即通过数学的手段直接求出loss最小的解，二维的如下所示：

 Cost function的矩阵表示

 两种方法的比较

 

实战

        第一步：导库、导数据

import numpy as np
import matplotlib.pyplot as plt  

data = np.genfromtxt("data.csv", delimiter=",")
x_data = data[:,0,np.newaxis]
y_data = data[:,1,np.newaxis]
# 给样本添加偏置项
X_data = np.concatenate((np.ones((100,1)),x_data),axis=1)

        第二步：编写算法

# 标准方程法求解回归参数
def weights(xArr, yArr):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    xTx = xMat.T*xMat # 矩阵乘法
    # 计算矩阵的值,如果值为0，说明该矩阵没有逆矩阵
    if np.linalg.det(xTx) == 0.0:
        print("This matrix cannot do inverse")
        return
    # xTx.I为xTx的逆矩阵
    ws = xTx.I*xMat.T*yMat
    return ws

        第三步：使用方法、可视化

ws = weights(X_data,y_data)
print(ws)

x_test = np.array([[20],[80]])
y_test = ws[0] + x_test*ws[1]
plt.plot(x_data, y_data, 'b.')
plt.plot(x_test, y_test, 'r')
plt.show()

---

         这是我学习 覃秉丰老师的《机器学习算法基础》的自学笔记，课程在B站中的地址为：机器学习算法基础-覃秉丰_哔哩哔哩_bilibili