前言
线性回归模型有一个主要的局限性,那就是它只能把输入数据拟合成直线,而多项式回归模型通过拟合多项式方程来克服这类问题,从而提高模型的准确性。
一、特色
我在算法中使用了Pipeline,Pipeline可以将许多算法模型串联起来,比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。主要带来两点好处:
1. 直接调用fit和predict方法来对pipeline中的所有算法模型进行训练和预测。
2. 可以结合grid search对参数进行选择。
二、详细步骤
import numpy as np
import matplotlib.pyplot as plt
# 在[-3,3]范围内生成x,使用y = 0.5 * x ** 2 + x + 3生成y的值。这样便制造了一个数据集
x = np.random.uniform(-3, 3, size=100)
y = 0.5 * x ** 2 + x + 3 + np.random.normal(0, 1, size=100)
x1 = x.reshape(-1, 1)
from sklearn.preprocessing import PolynomialFeatures
# 创建一个多项式回归器
plf = PolynomialFeatures(degree=3)
# Pipeline Pipeline可以将许多算法模型串联起来,比如将特征提取、归一化、分类组织在一起形成一个典型的机器学习问题工作流。
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
poly = Pipeline([
('poly', PolynomialFeatures(degree=3)),
('stds', StandardScaler()), # 去均值和方差归一化。且是针对每一个特征维度来做的,而不是针对样本。
('lre', LinearRegression())
])
# 拟合
poly.fit(x1, y)
p_x1 = poly.predict(x1)
# 画图
plt.scatter(x, y)
plt.plot(np.sort(x), p_x1[np.argsort(x)], color='r')
plt.show()
实验结果
总结
回归模型的这三个典型案例基本上概括了回归问题的本质----预测。这是机器学习中的基本问题之一,回归模型的建立思想为后续二分类,多分类,决策树,支持向量积奠定了基础