线性回归：预测数值型数据

数据读入

from numpy import *
%matplotlib inline
import matplotlib.pyplot as plt

def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t'))
    dataMat =[]; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat - 1):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return  dataMat, labelMat

普通最小二乘法(ordinary least squares)

普通最小二乘法是使所有的点平均误差最小，即：

$$\sum_{i=1}^{m}(y_i-x_{i}^{T}w)^{2}$$
我们可以用矩阵表示为:
$$(y-Xw)^{T}(y-Xw)$$

其中$y,w$为$m\times 1$维矩阵， X X