线性回归入门笔记

要求：

• 1.模型建立：线性回归原理、线性回归模型
• 2.学习策略：线性回归损失函数、代价函数、目标函数
• 3.算法求解：梯度下降法、牛顿法、拟牛顿法等
• 4.线性回归的评估指标
• 5.sklearn参数详解

练习部分

• 1.基于线性回归的房价预测问题
• 2.利用sklearn解决回归问题
• 3.sklearn.linear_model.LinearRegression

完成进度：

Day1	Day3
学习写CSDN	学习代码
阅读Task1 Linear_regression	修改代码
进行理论性总结	完成blog

理论总结：

1. 线性回归的原理
   数据集为 （x_i,y_i）,其中x_i=[x_i1,…,x_id]，其中d表示维度
   x与y的关系为：$$y=\sum _{i=0}^d{\theta }_i\cdot x_i$$
   均方误差度量性能：$$y=\frac{{\sum }_{i=1}^n(h_{\theta }(x_i)-y{)}^2}{2}$$（验证：极大似然估计）
2. 线性回归损失函数、代价函数、目标函数

损失函数	代价函数	目标函数
度量单样本预测的错误程度，损失函数值越小，模型就越好	度量全部样本集的平均误差	代价函数和正则化函数，最终要优化的函数
0-1损失函数、平方损失函数、绝对损失函数、对数损失函数	均方误差、均方根误差、平均绝对误差	结构化风险最小化，防止过拟合

3. 优化方法
   3.1. 梯度下降法 （缺点：非凸函数，有可能找到的局部最优值）
   3.1.1 批梯度下降法$$\theta =\theta +\alpha \sum _{i=1}^n(y^i-f_{\theta }(x{)}^i)x^i$$
   3.1.2 随机梯度下降法$$\theta =\theta +\alpha (y^i-f_{\theta }(x{)}^i)x^i$$
   – 优点：数据点很多时，运行效率更高。
   – 缺点：每次只针对一个样本更新参数，未必找到最快路径达到最优值，有时候会出现参数在最小值附近徘徊而不立即收敛的情况。
   – 数据量大的时候随机梯度下降法优于批量梯度下降法。
   3.2 最小二乘矩阵求解$$\theta =(X^{T}X{)}^{-1}{X}^{T}Y$$
   3.3 牛顿法$$\theta :=\theta -\frac{l^{\prime }(\theta )}{l^{\prime \prime }(\theta )}$$
   –优点：收敛速度快
   –缺点：计算复杂，维度多的时候计算成本高
   3.4 拟牛顿法
4. 线性回归的评估指标

均方误差MSE	均方根RMSE	平均绝对MAE	R2
$$y=\frac{{\sum }_{i=1}^m(y^{\prime (i)}-y^{(i)}{)}^2}{m}$$	$$\sqrt{MSE}$$	$$\frac{{\sum }_{i=1}^m(y^{\prime (i)}-y^{(i)})}{m}$$	$$1-\frac{MSE}{VAR}$$

• 最常用的指标是 𝑅² ,可以避免量纲不一致问题;𝑅² 越接近1，表示可解释力度越大，模型拟合的效果越好。

5. sklearn参数详解
   链接：API详解:sklearn.linear_model.LinearRegression.

代码详解

环境：python2.7

#生成数据
import numpy as np
#生成随机数
np.random.seed(1234)
 #每次运行代码时设置相同的seed，每次生成的随机数相同，如果不设置seed，则每次生成的随机数会不一样
x = np.random.rand(500,3) 
#生成的x是500行3列的矩阵
#构建映射关系，模拟真实的数据待预测值,映射关系为y = 4.2 + 5.7*x1 + 10.8*x2，可自行设置值进行尝试
y = x.dot(np.array([4.2,5.7,10.8]))
print x
print y

结果：
x的值为：

y的值为：

#调用sklearn的线性回归模型训练数据
import numpy as np
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
%matplotlib inline
# 调用模型
lr = LinearRegression(fit_intercept=True)
# 训练模型
lr.fit(x,y)
print("估计的参数值为：%s" %(lr.coef_))
# 计算R平方
print('R2:%s' %(lr.score(x,y)))
# 任意设定变量，预测目标值
x_test = np.array([2,4,5]).reshape(1,-1)#重塑x值的维度以便矩阵运算
y_hat = lr.predict(x_test)
print("预测值为: %s" %(y_hat))

结果为：

#最小二乘法的矩阵求解
class LR_LS():
    def __init__(self):
        self.w = None      
    def fit(self, X, y):
        # 最小二乘法矩阵求解
        self.w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
        #np.linalg.inv为矩阵求逆变换
        #np.dot返回的两个数组的点积
    def predict(self, X):
        # 用已经拟合的参数值预测新自变量
        y_pred = X.dot(self.w)
        return y_pred

if __name__ == "__main__":
    lr_ls = LR_LS()
    lr_ls.fit(x,y)
    print("估计的参数值：%s" %(lr_ls.w))
    x_test = np.array([2,4,5]).reshape(1,-1)
    print("预测值为: %s" %(lr_ls.predict(x_test)))
    print('R2:%s' %(lr.score(x,y)))

结果为：

#梯度下降法求解
class LR_GD():
    def __init__(self):
        self.w = None     
    def fit(self,X,y,alpha=0.002,loss = 1e-10): # 设定步长为0.002,判断是否收敛的条件为1e-10
        y = y.reshape(-1,1) #重塑y值的维度以便矩阵运算
        [m,d] = np.shape(X) #自变量的维度
        self.w = np.zeros((d)) #将参数的初始值定为0
        tol = 1e5
        while tol > loss:
            h_f = X.dot(self.w).reshape(-1,1) 
            theta = self.w + alpha*np.mean(X*(y - h_f),axis=0) #计算迭代的参数值
            tol = np.sum(np.abs(theta - self.w))
            self.w = theta
    def predict(self, X):
        # 用已经拟合的参数值预测新自变量
        y_pred = X.dot(self.w)
        return y_pred  

if __name__ == "__main__":
    lr_gd = LR_GD()
    lr_gd.fit(x,y)
    print("估计的参数值为：%s" %(lr_gd.w))
    x_test = np.array([2,4,5]).reshape(1,-1)
    print("预测值为：%s" %(lr_gd.predict(x_test)))

结果为：

源码来源：datawhale