1.1 广义线性模型

　　数学模型：

$$\hat y =w_0+w_1x_1+...+w_px_p$$
其中向量 $w=(w_1,w_2,...w_p)$为 coef_ ， $w_0$为 intercept_

1.1.1 普通最小二乘法（OLS）

　　用回归系数$w=(w_1,w_2,...w_p)$来拟合线性模型，使得残差平方和（RSS)最小。用数学形式表示:

$$\min_w{ \lVert {\mathbf x}w-y \rVert_2}^2$$
　　线性回归（LR)将通过 fit 方法，来拟合数组 $\mathbf x$、y，回归系数会存储在成员 $w$ coef_

>>> from sklearn import linear_model
>>> clf = linear_model.LinearRegression()
>>> clf.fit([[0,0],[1,1],[2,2]],[0,1,2])
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
>>> clf.coef_
array([ 0.5,  0.5])

　　普通最小二乘法的参数估计依赖于模型中各项的独立性。如果在线性回归模型中的解释变量之间存在精确相关关系或高度相关关系，普通最小二乘估计对观察项的随机误差将十分敏感，可能出现多重共线问题。

1.1.1.1 普通最小二乘法的复杂度

　　这种方法通过$\mathbf x$的奇异值分解来求最小二乘解。如果 $\mathbf x$是一个 $(n,p)$的矩阵，那么他的复杂度将是 $\mathcal o(np^2)$，假设 $n\ge p$