机器学习算法（一）：2. 线性回归之多项式回归（特征选取）

系列文章目录

机器学习算法（一）：1. numpy从零实现线性回归
机器学习算法（一）：2. 线性回归之多项式回归（特征选取）

---

---

前言

本博客主要是将线性回归推广到多项式线性回归，主要实现手段就是进行特征选择来实现多项式线性回归。

---

一、特征选取（特征构建）

这里说特征选取有点大了，说特征构建吧！看下面例子

这是一个二次函数，可以看到用简单的线性回归拟合效果永远无法实现拟合曲线的效果。要达到这种拟合曲线的情况就要用多项式回归了，其本质还是线性回归。我们主要对特征做一些手脚就可以实现这种效果了。上图中只有一个特征$x$,我们进行特征组合，加入一个新的特征$x^2$,记$x_1=x,x_2=x^2$,这样模型就变成了:
y = w 1 x + w 2 x 2 = w 1 x 1 + w 2 x 2 \begin{align} y&=w_1x+w_2x^2 \\ &=w_1x_1+w_2x_2 \end{align}