机器学习06：多项式回归及python实现

机器学习06：多项式回归及python实现

多项式回归

多项式回归的假设函数：
$$\begin{array}{rl}{h}_{\theta }(x\text{x}x)& ={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdot \cdot \cdot +{\theta }_d{x}_d\\ & ={\theta }_0+{\theta }_{1}x+{\theta }_2{x}^2+\cdot \cdot \cdot +{\theta }_d{x}^d\end{array}$$
之前我一直有一个疑惑，多项式回归是不是线性回归？
在这里，如果我们把$h_{\theta }(x\text{x}x)$看作$x\text{x}x$的函数，这个方程就是非线性的，当然不是线性回归，可是在多项式回归中，我们要确定的是$\theta \text{θ}\theta$的取值，$x$的多次幂可以当作一个新的特征值，$h_{\theta }(x\text{x}x)$是$\theta \text{θ}\theta$的函数，可以理解为上面方程中的第一行。所以，多项式回归也是线性回归。因此，线性回归的相关算法也适用于多项式回归。

Python 实现

下面我们直接用python来实现一个例子：

1. 引入需要用到的模块

## 导入模块
import numpy as np
import matplotlib.pyplot as plt

2. 创造实验数据
   这里使用函数 $f(x)=(x+5{)}^2+随机噪声$ 来创造实验数据，选取15个样本点。

## 创造实验数据
x0 = np.arange(1,16).reshape(-1,1)  # 这里我们选取15个点，将数组转换为列向量
## 使用 y = (x-5)^2 = x^2+10*x+25, 作为模型函数并添加噪声
y0 = ((x0-52.)**2 + np.random.uniform(0,10,size=(len(x0),1))).reshape(-1,1)

3. 构造特点矩阵
   对于这个示例，该特点矩阵一共有三列，第一列为全为 $1$，第二列为向量$x\text{x}x$，第三列为向量x**2.

## 构造特性矩阵
'''
该特性矩阵一共有三列，第一列为全为1，第二列为向量x，第三列为向量x^2
'''
first = np.ones((len(x0))).reshape(-1,1)
second = x0
third = x0**2
X = np.concatenate((first, second, third), axis=1)

4. 求解
   这里我们运用正规方程求解。
   利用公式：
   $$\theta \text{θ}\theta =(X^{T}X\text{XTX}{X}^{T}X)X^{T}y\text{XTy}{X}^{T}y$$
   求解系数

X_T = X.transpose()
beta = np.linalg.inv(X_T.dot(X)).dot(X_T).dot(y0)

6. 画图

fig = plt.figure()
sub = plt.subplot(111)
sub.scatter(x0, y0)
sub.plot(x0, yi)

plt.show()

附：源代码

'''
Description: 
Author: Weijian Ma
Date: 2020-09-21 20:20:34
LastEditTime: 2020-09-21 21:01:42
LastEditors: Weijian Ma
'''
'''
多项式回归实现
'''

## 导入模块
import numpy as np
import matplotlib.pyplot as plt

## 创造实验数据
x0 = np.arange(1,16).reshape(-1,1)  # 这里我们选取15个点，将数组转换为列向量
## 使用 y = (x-5)^2 = x^2+10*x+25, 作为模型函数并添加噪声
y0 = ((x0-5)**2 + np.random.uniform(0,10,size=(len(x0),1))).reshape(-1,1)

## 构造特性矩阵
'''
该特性矩阵一共有三列，第一列为全为1，第二列为向量x，第三列为向量x^2
'''
first = np.ones((len(x0))).reshape(-1,1)
second = x0
third = x0**2
X = np.concatenate((first, second, third), axis=1)

X_T = X.transpose()
beta = np.linalg.inv(X_T.dot(X)).dot(X_T).dot(y0)

print("系数矩阵:\n{0}".format(beta))

yi = beta[0]+beta[1]*x0+beta[2]*(x0**2) 

fig = plt.figure()
sub = plt.subplot(111)
sub.scatter(x0, y0)
sub.plot(x0, yi)

plt.show()

结果如下（每次运行的结果可能不一样，因为噪声是随机的）：

系数矩阵:
[[25.88223989]
 [-8.81802872]
 [ 0.93633153]]