话说线性回归

话说线性回归**

近期参加了一个活动，要按时写博客，否则9.9RMB就木有了啊。这次我写的是线性回归：这个万物都可拟合的模型，其实在高中数学就提到了，只是在高考中占比很小，考的概率也微乎其微，所以重视的不多。
那什么是线性回归呢？说白了就是预测。就拿达叔视频的例子：预测房价，影响房价的因素有很多：包括面积，房价，地段等等。我们将这些因素作为参数，就可以得到一个表达式：
我们的目标是要找到一个函数法f(x)=y,y是实际的房价值。
接下来上公式：

为了判断我们预测的是否准确，我们有了下面的公式，称为均方误差

接下来是求解的手推过程（以周志华的西瓜书为准）


这是用导数的方法求解参数的过程。

接下来我们说一下用矩阵的方法求解：

这里与上面一样，只是写成了向量的形式，x是影响房价的因素，y是实际房价，这里的推导其实也不难：上图：

令导数等于零，可得

这就是我们求得的最后结果，初中称为x前的系数，高中称为斜率，大学称为因子，这里我们称为影响房价因素的权重！！！
好的，就介绍这么多，要介绍一下代码了。
sklearn.linear_model：
fit_intercept : 默认为True,是否计算该模型的截距。如果使用中心化的数据，可以考虑设置为False,不考虑截距。注意这里是考虑，一般还是要考虑截距
normalize: 默认为false. 当fit_intercept设置为false的时候，这个参数会被自动忽略。如果为True,回归器会标准化输入参数：减去平均值，并且除以相应的二范数。当然啦，在这里还是建议将标准化的工作放在训练模型之前。通过设置sklearn.preprocessing.StandardScaler来实现，而在此处设置为false
copy_X : 默认为True, 否则X会被改写
n_jobs: int 默认为1. 当-1时默认使用全部CPUs ??(这个参数有待尝试)
可用属性：
coef_:训练后的输入端模型系数，如果label有两个，即y值有两列。那么是一个2D的array
intercept_: 截距
可用的methods:
fit(X,y,sample_weight=None): X: array, 稀疏矩阵 [n_samples,n_features] y: array [n_samples, n_targets] sample_weight: 权重 array [n_samples] 在版本0.17后添加了sample_weight
get_params(deep=True)： 返回对regressor 的设置值
predict(X): 预测 基于 R^2值
score： 评估

1、先尝试调用sklearn的线性回归模型训练数据
import numpy as np
from sklearn.linear_model import LinearRegression
import matplotlib.pyplot as plt
%matplotlib inline

调用模型

lr = LinearRegression(fit_intercept=True)

训练模型

lr.fit(x,y)
print(“估计的参数值为：%s” %(lr.coef_))

计算R平方

print(‘R2:%s’ %(lr.score(x,y)))

任意设定变量，预测目标值

x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr.predict(x_test)
print(“预测值为: %s” %(y_hat))

2、最小二乘法的矩阵求解
class LR_LS():
def init(self):
self.w = None
def fit(self, X, y):
# 最小二乘法矩阵求解
#============================= show me your code =======================
self.w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
#============================= show me your code =======================
def predict(self, X):
# 用已经拟合的参数值预测新自变量
#============================= show me your code =======================
y_pred = X.dot(self.w)
#============================= show me your code =======================
return y_pred

if name == “main”:
lr_ls = LR_LS()
lr_ls.fit(x,y)
print(“估计的参数值：%s” %(lr_ls.w))
x_test = np.array([2,4,5]).reshape(1,-1)
print(“预测值为: %s” %(lr_ls.predict(x_test)))