机器学习之简单线性回归

最广为人知的线性回归模型——将数据拟合成一条直线。直线拟合的模型方程为 y = ax + b，其中 a 是直线斜率，b 是直线截距。
看看下面的数据，它们是从斜率为 2、截距为 -5 的直线中抽取的散点：

rng = np.random.RandomState(1) 
x = 10 * rng.rand(50) 
y = 2 * x - 5 + rng.randn(50) 
plt.scatter(x, y);

可以用 Scikit-Learn 的 LinearRegression 评估器来拟合数据，并获得最佳拟合直线：

from sklearn.linear_model import LinearRegression 
model = LinearRegression(fit_intercept=True) 
model.fit(x[:, np.newaxis], y) 
xfit = np.linspace(0, 10, 1000) 
yfit = model.predict(xfit[:, np.newaxis]) 
plt.scatter(x, y) 
plt.plot(xfit, yfit);

数据的斜率和截距都在模型的拟合参数中，Scikit-Learn 通常会在参数后面加一条下划线，即 coef_ 和 intercept_：

print("Model slope: ", model.coef_[0]) 
print("Model intercept:", model.intercept_) 

输出结果如下所示：

Model slope: 2.02720881036 
Model intercept: -4.99857708555

可以看到，拟合结果与真实值非常接近，这正是我们想要的。
然而，LinearRegression 评估器能做的可远不止这些——除了简单的直线拟合，它还可以处理多维度的线性回归模型：
$$y=a_0+a_1{x}_1+a_2{x}_2+\dots$$
里面有多个 x 变量。从几何学的角度看，这个模型是拟合三维空间中的一个平面，或者是为更高维度的数据点拟合一个超平面。
虽然这类回归模型的多维特性使得它们很难可视化，但是我们可以用 NumPy 的矩阵乘法运算符创建一些数据，从而演示这类拟合过程：

rng = np.random.RandomState(1) 
X = 10 * rng.rand(100, 3) 
y = 0.5 + np.dot(X, [1.5, -2., 1.]) 
model.fit(X, y) 
print(model.intercept_) 
print(model.coef_) 

输出结果如下所示：

0.5 
[ 1.5 -2. 1.]

其中 y 变量是由 3 个随机的 x 变量线性组合而成，线性回归模型还原了方程的系数。
通过这种方式，就可以用一个 LinearRegression 评估器拟合数据的回归直线、平面和超平面了。虽然这种方法还是有局限性，因为它将变量限制在了线性关系上，但是不用担心，还有其他方法。