多项式回归

首先，自定义数据集，使用 y = 0.5 * x**2 + x + 2 函数。

import numpy as np
import matplotlib.pyplot as plt

x = np.random.uniform(-3, 3, size=100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100)
plt.scatter(X, y)
plt.show()

绘制散点图如下：

用线性回归的方式拟合一下数据集：

from sklearn.linear_model import LinearRegression

lin_reg = LinearRegression()
lin_reg.fit(X, y)
y_predict = lin_reg.predict(X)
plt.scatter(x, y)
plt.plot(x, y_predict, color='r')
plt.show()

可见，用一条直线拟合一个曲线的散点图效果较差。

解决方案，添加一个特征

将 x2 看作一个特征，则有 x 和 X2 两个特征。

X2 = np.hstack([X, X**2])  # 合并X, X**2 ,使得每个样本有两个特征

lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)

plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')  # x需按大小排列，y_predict按x排列后的索引
plt.show()

查看系数，可看到第一个值近似 x 前的系数 1, 第二个值近似 x**2 前的系数 0.5.

lin_reg2.coef_   # 查看系数
array([1.00425386, 0.51853568])

查看系数，近似于 2.

lin_reg2.intercept_  # 截距
2.175678596152369