机器学习经典算法笔记——线性回归

最小二乘法

这里的目标是找出a,b，使得下面J的尽可能小：
$$J(a,b)=\sum _{i=0}^m(y^i-a{x}^i-b{)}^2$$

即对a,b分别进行求导=0，得到以下的结果：
$$b=\overline{y}-a\overline{x}$$
$$a=\frac{{\sum }_{i=1}^m(x^i{y}^i-x^i\overline{y})}{{\sum }_{i=1}^m((x^i{)}^2-\overline{x}{x}^i)}$$
化简一下
$$a=\frac{{\sum }_{i=1}^m(x^i-\overline{x})(y^i-\overline{y})}{{\sum }_{i=1}^m(x^i-\overline{x}{)}^2}$$

实现简单的线性回归

这里的代码部分相对比较简单就不用赘述了，这里需要注意的是np.dot(a,b)实现a,b点乘的时候，如果a,b都是向量，而非矩阵的话，是对应位相乘最后相加，是矩阵的话这里就需要m*n * n*s符合这个要求才能相乘，第一个矩阵的列和第二个矩阵的行数相等。点乘比for循环快很多。

回归算法的评价

1. 均方误差（MSE）
   $$\frac{1}{m}\sum _{i=1}^m(y_{test}^i-{\hat{y}}_{test}^i{)}^2$$
   其中$y_{test}^i$是测试数据集，${\hat{y}}_{test}^i$是预测出的结果，也就是说开始通过训练数据集预测出a,b，后面通过a,b得出${\hat{y}}_{test}^i$。
2. 均方根误差（RMSE）
   $$\sqrt{\frac{1}{m}\sum _{i=1}^m(y_{test}^i-{\hat{y}}_{test}^i{)}^2}=\sqrt{MS{E}_{test}}$$
3. 平均绝对误差（MAE）
   $$\frac{1}{m}\sum _{i=1}^m|y_{test}^i-{\hat{y}}_{test}^i|$$
4. R Squared
   $$R^2=1-\frac{{\sum }_{i=1}^m({\hat{y}}^i-y^i{)}^2}{{\sum }_{i=1}^m(\overline{y}-y^i{)}^2}=1-\frac{MSE(\hat{y},y)}{Var(y)}$$
   $R^2$ 越大越好。$R^2$最大值为1，当模型不犯任何错误的时候，当模型=基准模型的时候，$R^2$=0
   当$R^2$<0时，说明我们的模型不如基准模型（${\sum }_{i=1}^m(\overline{y}-y^i{)}^2$），此时，可能我们的数据不存在任何线性关系。上式中var为方差。

多元线性回归

之前我们考虑只有一个特征，实际上我们碰到的基本上都是多个特征，所以这里我们也要考虑多个参数，对于一个n个特征的方程，我们假设theta0 == 1 为了方便计算，这里和我前面提到的梯度下降算法是一样的原理。

我们的目标是：$(y-X_b\theta {)}^T(y-X_b\theta )$ 尽可能的小

$$\theta =(X_b^T{X}_b{)}^{-1}{X}_b^{T}y$$
问题：时间复杂度高：$O(n^3)$，优点是不需要进行归一化处理

下面写一下最主要部分的代码

def fit(X_train, y_train):
	X_b = np.hstack([np.ones(len(X_train),1),X_train])
	theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y_train)
	return theta

scikit-learn中使用线性回归

from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(X_train, y_train)
lin_reg.coef_    # 这里也就是K的值，矩阵
lin_reg.intercept_  # 这里是 b的值，就一个数
lin_reg.score(X_test, y_test)

本章到此结束