一维线性回归模型扩展

一维线性回归模型扩展

表示非线性函数

在实际应用中，很少遇到线性的输入输出函数，而更多地使用基于参数的线性模型，用于表示非线性的输入和输出。

$$f_{\theta }(x)={\Sigma }_{j=1}^k{\theta }_j{\varphi }_j(x)={\Theta }^T\Phi (x)$$

在上式中，${\varphi }_j(x)$是基函数向量$\Phi (x)=({\varphi }_1(x),{\varphi }_2(x),\cdots ,{\varphi }_k(x))$的第$j$个因子,${\theta }_j$是参数向量$\Theta =({\theta }_1,{\theta }_2,\cdots ,{\theta }_k{)}^T$的第$j$个因子。
如果把基函数变为多项式的形式
$$\varphi (x)=(1,x,x^2,\cdots ,x^{k-1}{)}^T$$
或者变为$k=2m+1$的三角多项式形式
$$\varphi (x)=(1,sinx,cosx,sin2x,cos2x,\cdots ,sinmx,cosmx{)}^T$$
上述的线性模型就可以表示复杂的非线性模型了。

多维基函数的构造

一维的输入$x$还可以扩展为$d$维的向量形式$\vec{x}=(x^{(1)},\cdots ,x^{(d)})$：
$$f_{\theta }(\vec{x})={\Sigma }_{j=1}^k{\theta }_j{\varphi }_j(\vec{x})={\Theta }^T\Phi (\vec{x})$$
对于多维的输入向量$\vec{x}$，有两种常见的根据一维基函数构造多维基函数的方法：

乘法模型

乘法模型是指，把一维的基函数作为因子，通过相乘得到多维基函数的方法：
$$f_{\theta }(\vec{x})={\Sigma }_{j_1=1}^{k^{\prime }}\cdots {\Sigma }_{j_d=1}^{k^{\prime }}{\theta }_{j_1,\cdots ,j_d}{\varphi }_{j_1}(x^{(1)})\cdots {\varphi }_{j_d}(x^{(d)})$$
上式中，$k^{\prime }$代表各维的参数个数。需要注意的是，所有参数个数为$(k^{\prime }{)}^d$，随着维数增加而呈现指数级增加。它可以表现下面这样复杂的函数。

加法模型

加法模型是把一维的基函数作为因子，通过使其相加获得多维基函数的方法：
$$f_{\theta }(\vec{x})={\Sigma }_{i=1}^d{\Sigma }_{j=1}^{k^{\prime }}{\theta }_{i,j}{\varphi }_j(x^{(i)})$$
加法模型中所有参数个数为$d{k}^{\prime }$，只会随着输入维度$d$呈线性增长。但是其只能表现如下的简单函数：

模型对比

乘法模型具有丰富的表现力，但是参数个数随着维数$d$增加而呈现指数级增加；虽然加法模型的参数个数随着维数$d$增加而线性增加，但是其表现力较弱。