【机器学习】线性回归的最小二乘法

一、问题阐述
紧接上篇，本文使用Python语言测试该算法。因此算法原理不再赘述。上篇博文已经提及损失函数J(θ)，对其求关于θ的偏导数并令其等于0，得：

以下算法便用到此式。
计算过程涉及很多线性代数的定理，主要用到此式：

其中tr表示矩阵的迹(trace)。

二、代码实现

from numpy import *

# load data 导入数据
def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t')) - 1
    dataMat = []; labelMat = []
    fd = open(fileName)
    for