算法笔记（18）数据升维及Python代码实现

数据集特征不足的情况下，需要对数据集的特征进行扩充，两种方法：交互式特征和多项式特征。

向特征集添加交互式特征

交互式特征是在原始数据特征中添加交互项，使特征数量增加。
Python代码实现：

X_multi = np.hstack([X_in_bin, X*X_in_bin])
print(X_multi.shape)
print(X_multi[0])
mlpr_multi = MLPRegressor().fit(X_multi, y)
line_multi = np.hstack([new_line, line * new_line])
plt.plot(line, mlpr_multi.predict(line_multi), label = 'MLP Regressor')
for vline in bins:
    plt.plot([vline,vline],[-5,5],':',c='gray')
plt.plot(X, y, 'o', c='r')
plt.legend(loc='lower right')
plt.show()

交互式特征处理后的神经网络模型 

这样数据处理的目的，主要为了让比较容易出现欠拟合的模型能有更好的表现。
线性模型在高维数据集中有良好的性能，但是在低维数据集中却表现一般，我们需要用交互式特征来进行特征扩充，以便给数据集升维，从而提升线性模型的准确率。

向特征集添加多项式特征

多项式指的是多个单项式相加所组成的代数式。
在机器学习当中，常用的扩展样本特征的方式就是将特征X进行乘方，如X3、X5等
Python代码实现：

poly = PolynomialFeatures(degree=20, include_bias = False)
X_poly = poly.fit_transform(X)
LNR_poly = LinearRegression().fit(X_poly, y)
line_poly = poly.transform(line)

plt.plot(line,LNR_poly.predict(line_poly), label='Linear Regressor')
plt.xlim(np.min(X)-0.5,np.max(X)+0.5)
plt.ylim(np.min(y)-0.5,np.max(y)+0.5)
plt.plot(X,y,'o',c='r')
plt.legend(loc='lower right')
plt.show()

 经过多项式特征处理的数据进行线性回归

对于低维数据集，线性模型常常会出现欠拟合的问题，我们将数据集进行多项式特征扩展后，可以在一定程度上解决线性模型欠拟合的问题。