【Machine Learning】5.特征工程和多项式回归

特征工程，使用线性回归机制来拟合非常复杂甚至非线性(存在$x^n$)的函数。

1. 导入

import numpy as np
import matplotlib.pyplot as plt
from lab_utils_multi import zscore_normalize_features, run_gradient_descent_feng
np.set_printoptions(precision=2)  # reduced display precision on numpy arrays

2.多项式特征

这是线性回归时使用的
$$f_{\mathbf{w},b}=w_0{x}_0+w_1{x}_1+...+w_{n-1}{x}_{n-1}+b\text{\hspace{1em}(1)}$$

先看看按照以前的线性回归方法的效果

# create target data
x = np.arange(0, 20, 1)
y = 1 + x**2
X = x.reshape(-1, 1)

model_w,model_b = run_gradient_descent_feng(X,y,iterations=1000, alpha = 1e-2)

plt.scatter(x, y, marker='x', c='r', label="Actual Value"); plt.title("no feature engineering")
plt.plot(x,X@model_w + model_b, label="Predicted Value");  plt.xlabel("X"); plt.ylabel("y"); plt.legend(); plt.show()

明显不行，我们需要多项式特征，因此我们进行特征工程，调整x的次数

# create target data
x = np.arange(0, 20, 1)
y = 1