python和机器学习 第八章 多项式回归与模型泛化（一）什么是多项式回归

In [79]: import numpy as np
    ...: import matplotlib.pyplot as plt

In [80]: x = np.random.uniform(-3,3,size=100)
    ...: X = x.reshape(-1,1)
In [81]: y = 0.5 * x**2 + x + 2 + np.random.normal(0,1,size=100)

线性回归

In [83]: from sklearn.linear_model import LinearRegression
    ...: lin_reg = LinearRegression()
    ...: lin_reg.fit(X,y)
In [84]: y_predict = lin_reg.predict(X)
In [85]: plt.scatter(x,y)
    ...: plt.plot(x,y_predict,color='r')    

线性回归效果不好
解决方案，添加一个特征

In [86]: (X**2).shape
Out[86]: (100, 1)
In [87]: X2 = np.hstack([X,X**2])
In [88]: X2.shape
Out[88]: (100, 2)

多项式回归
多项式回归是使用线性回归的方法，只不过在原有的基础上添加了新的特征，即对数据进行升维处理

In [89]: lin_reg2 = LinearRegression()
    ...: lin_reg2.fit(X2,y)
    ...: y_predict2 = lin_reg2.predict(X2)

In [90]: plt.scatter(x,y)
    ...: plt.plot(np.sort(x),y_predict2[np.argsort(x)],color='r')
#得到的系数和y函数系数近似    
In [91]: lin_reg2.coef_
Out[91]: array([1.01871165, 0.51946111])