线性回归和局部加权线性回归

#coding=utf-8
import ccsql
from numpy import *
def load_data(fileName):    
    #读取数据
    numFeat = len(open(fileName).readline().split('\t')) - 1 
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat


def standard_regres(data,label):
    '''标准线性回归'''
    #基于最小二乘法
    x=mat(data);y=mat(label).T
    xtx=x.T*x
    #计算这个因为回归系数方程w=[(x.Tx)^-1]*x.T*y
    #要保证xtx不是奇异矩阵
    if linalg.det(xtx)==0.0:
        #判断xtx是否是奇异矩阵
        #linalg.det（）计算行列式的值
        print 'this matrix is singular, cannot do inverse'
        return
    regression_weights=xtx.I*(x.T*y)
    #回归系数求得的是2*1矩阵
    #因为样本数据每一行是1*2 ，例如：[1.000000	0.73833]
    #其中前面的1是偏移量，所给的数据中每一行的第一个值都是1.
    
    return regression_weights

def lwlr(test_point,x,y,k=1.0):
    '''局部加权线性回归'''
    x=mat(x);y=mat(y).T
    m=shape(x)[0]
    weights=mat(eye((m)))
    # m阶单位矩阵
    for j in range(m):
        diff_mat=test_point-x[j,:]
        #矩阵差
        weights[j,j]=exp(diff_mat*diff_mat.T/(-2.0*k**2))
        #计算对应点权重。高斯核w(i,i)=exp[|x(i)-x|/(-2k^2)]
        # k决定了对附近的点赋予多大的权重
        # 换个说法 k 应该是一个局部范围，也就是‘局部加权’中的局部的范围
        # k足够小回归曲线就应该接近于折线
        xtx=x.T*(weights*x)
        if linalg.det(xtx)==0.0:
        #计算行列式的值
            print 'this matrrix is singular,cannot do inverse'
            return 
    regression_weights=xtx.I*(x.T*(weights*y))
    estimate=test_point*regression_weights
    #估值就等于测试点乘以回归系数
    return estimate




#import matplotlib.pyplot as plt
#fig=plt.figure()
#ax=fig.add_subplot(111)
#x=mat(x);y=mat(y)
#ax.scatter(x[:,1].flatten().A[0],y.T[:,0].flatten().A[0])
#x0=x[:,1].argsort(0)
#x1=x[x0][:,0,:]
#ax.plot(x1[:,1],yh[x0],'red')
#plt.show()