py2.7 : 《机器学习实战》3.1号：预测数值型数据：回归

一、线性回归

# -*- coding: utf-8 -*-
from numpy import *
def loadData(fileName):
    numFeat = len(open(fileName).readline().split('\t')) - 1 #通过这样的划分得到特征数
    #print "numFeat = " , numFeat
    dataMat = []  ; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t') #把一行划分为三个部分
        #print "curLine = " , curLine
        for i in range(numFeat):
            lineArr.append(float(curLine[i])) #把每行的前两个加入特征集里
        dataMat.append(lineArr)#加入特征集
        labelMat.append(float(curLine[-1])) #加入标签里
    return dataMat,labelMat

def standRegress(xArr,yArr):
    xMat = mat(xArr)
    yMat = mat(yArr).T
    xTx = xMat.T * xMat
    if linalg.det(xTx) == 0.0 :
        print  "this matrix is singular , cannot do inverse "
        return
    ws = xTx.I * (xMat.T * yMat) #结论：最小二乘法求最优解
    return ws

进行回归预测：

# -*- coding: utf-8 -*-
import regression
from numpy import *
xArr , yArr = regression.loadData('ex0.txt') #获取数据集
ws = regression.standRegress(xArr,yArr) #训练回归系数
print ws

xMat  = mat(xArr) #构造横坐标集
yMat  = mat(yArr)#构建纵坐标集
yHat = xMat*ws #构造预测y
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(xMat[:,1].flatten().A[0] , yMat.T[:,0].flatten().A[0]) #散点图
#这里选择第二个特征是因为，第一个特征全是1，没有价值
xCopy = xMat.copy()
xCopy.sort(0) #升序排序防止点混乱
yHat = xCopy*ws
ax.plot(xCopy[:,1],yHat)
plt.show()

yHat = xMat*ws
print corrcoef(yHat.T , yMat)

这里的线性回归为 : hX = ws[0] + ws[1]*X1  ， 令X0 = 1 

预测效果：

[[ 3.00774324]
 [ 1.69532264]]
[[ 1.          0.98647356]
 [ 0.98647356  1.        ]]

‘

二、局部线性加权回归

def lwlr(testPoint , xArr , yArr , k = 1.0):
    xMat = mat(xArr) ; yMat = mat(yArr).T
    m = shape(xMat)[0]
    weights = mat(eye((m)))
    for j in range(m):
        diffMat = testPoint  - xMat[j,:]
        weights[j,j] = exp(diffMat*diffMat.T / (-2.0*k**2))
    xTx = xMat.T * (weights*xMat)
    if linalg.det(xTx) == 0.0 :
        print "this matrix is singular , cannot do inverse "
        return
    ws = xTx.I * (xMat.T * (weights*yMat))
    return testPoint * ws

def lwlrTest(testArr,xArr , yArr , k= 1.0):
    m = shape(testArr)[0]
    yHat = zeros(m)
    for i in range(m):
        yHat[i]  = lwlr(testArr[i],xArr,yArr,k)
    return yHat

测试：

# -*- coding: utf-8 -*-
import regression
from numpy import *
xArr , yArr = regression.loadData('ex0.txt') #获取数据集
print yArr[0] #实际值
#得到所有数据集的点估计 ， 预测值
print regression.lwlr(xArr[0],xArr,yArr,1.0)
print regression.lwlr(xArr[0],xArr,yArr,0.001)
print regression.lwlr(xArr[0],xArr,yArr,0.003)

预测效果：

3.176513
[[ 3.12204471]]
[[ 3.20175729]]
[[ 3.20200665]]

图形化处理：

# -*- coding: utf-8 -*-
import regression
from numpy import *
xArr , yArr = regression.loadData('ex0.txt') #获取数据集
print yArr[0] #实际值
#得到所有数据集的点估计 ， 预测值
print regression.lwlr(xArr[0],xArr,yArr,1.0)
print regression.lwlr(xArr[0],xArr,yArr,0.001)
print regression.lwlr(xArr[0],xArr,yArr,0.003)

yHat = regression.lwlrTest(xArr,xArr,yArr,0.03) #修改此处的参数可以得到不同的模型
xMat = mat(xArr)
srtInd = xMat[:,1].argsort(0)
xSort = xMat[srtInd][:,0,:]
import matplotlib.pyplot as plt
fig = plt.figure()
ax = fig.add_subplot(111)
ax.plot(xSort[:,1],yHat[srtInd])
ax.scatter(xMat[:,1].flatten().A[0],mat(yArr).T.flatten().A[0] , s = 2 )
plt.show()

k=1

k=0.01

k=0.003

k=0.001

从更改系数k可以看出，当k=1时拟合出来很正规的线条，和回归一致。

当k=0.01的时候有着非常好的拟合，可以发现潜在价值

但是从k=0.003已经容纳了太多的噪声，导致出现了过拟合

如果想看到过拟合的情况就再小点，就是下面这个图了