机器学习day6特征和多项式回归、正规方程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

提示：这里可以添加本文要记录的大概内容：

例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、特征和多项式回归

线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型：h_θ (x)=θ_0+θ_1 x_1+θ_2 x_2^2
或者三次方模型： h_θ (x)=θ_0+θ_1 x_1+θ_2 x_2^2+θ_3 x_3^3

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：
x_2=x_2^2
x_3=x_3^3
从而将模型转化为线性回归模型。
根据函数图形特性，我们还可以使：
h_θ (x)=θ_0+θ_1 (size)+θ_2 〖(size)〗^2
或者:
h_θ (x)=θ_0+θ_1 (size)+θ_2 √size
注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

二、正规方程

到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。如：

正规方程是通过求解下面的方程来找出使得代价函数最小的参数的：∂/(∂θ_j ) J(θ_j )=0 。 假设我们的训练集特征矩阵为 X（包含了 x_0=1）并且我们的训练集结果为向量 y，则利用正规方程解出向量 θ=(X^T X)^(-1) X^T y 。
上标T代表矩阵转置，上标-1 代表矩阵的逆。设矩阵A=X^T X，则：(X^T X)^(-1) =A^(-1)

在 Octave 中，正规方程写作：
pinv(X'*X)*X'*y

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

梯度下降与正规方程的比较：

总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数θ的替代方法。具体地说，只要特征变量数量小于一万，我通常使用标准方程法，而不使用梯度下降法。

正规方程的python实现：
import numpy as np
def normalEqn(X, y):
   theta = np.linalg.inv(X.T@X)@X.T@y #X.T@X等价于X.T.dot(X)
   return theta