机器学习基石 之 非线性转换（Nonlinear Transformation）

非线性转换（Nonlinear Transformation）

前面讲了许多线性模型，但是假如数据并不是线性可分的，该如何处理呢？基本思路是将数据样本（特征）空间 $\mathcal{X}$ 映射到 $\mathcal{Z}$ 空间后，在 $\mathcal{Z}$ 空间数据是线性可分的话，便可以在 $\mathcal{Z}$ 空间上使用线性模型对数据分析。

那么该映射叫做非线性特征转换 $\Phi$（(nonlinear) feature transform ）实现的是：
$$\mathbf{x}\in \mathcal{X}{⟼}^{\mathbf{\Phi }}\mathbf{z}\in \mathcal{Z}$$
学习的基本步骤如下：

• transform original data { ( x n , y n ) } \left\{ \left( \mathbf { x } _ { n } , y _ { n } \right) \right\} {(xn​,yn​)} to { ( z n = Φ ( x n ) , y n ) } \left\{ \left( \mathbf { z } _ { n } = \mathbf { \Phi } \left( \mathbf { x } _ { n } \right) , y _ { n } \right) \right\} {(zn​=Φ(xn​),yn​)}
• get a good perceptron $\tilde{\mathbf{w}}$ using { ( z n = Φ ( x n ) , y n ) } \left\{ \left( \mathbf { z } _ { n } = \mathbf { \Phi } \left( \mathbf { x } _ { n } \right) , y _ { n } \right) \right\} {(zn​=Φ(xn​),yn​)} and your favorite linear classification algorithm $\mathcal{A}$。
• return $g(\mathbf{x})=\mathrm{sign}\left({\tilde{\mathbf{w}}}^T\mathbf{\Phi }(\mathbf{x})\right)$

常用的非线性转换 （General Nonlinear Transform）

General Quadratic Hypothesis Set

基本形式为：
$${\Phi }_2(\mathbf{x})=\left(1,x_1,x_2,x_1^2,x_1{x}_2,x_2^2\right)$$
其具有的特性是

• can implement all possible quadratic curve boundaries: circle, ellipse, rotated ellipse, hyperbola, parabola, …
  适用于各种二次曲线边界：圆，椭圆，旋转椭圆，双曲线，抛物线…
• include lines and constants as degenerate cases
  也包括直线型和常数型

General PolynomialHypothesis Set

基本形式为：
$$\begin{array}{rl}{\Phi }_0(\mathbf{x})=(1),{\Phi }_1(\mathbf{x})& =\left({\Phi }_0(\mathbf{x}),x_1,x_2,\dots ,x_d\right)\\ {\Phi }_2(\mathbf{x})& =\left({\Phi }_1(\mathbf{x}),x_1^2,x_1{x}_2,\dots ,x_d^2\right)\\ {\Phi }_3(\mathbf{x})& =\left({\Phi }_2(\mathbf{x}),x_1^3,x_1^2{x}_2,\dots ,x_d^3\right)\\ {\Phi }_Q(\mathbf{x})& =(\begin{array}{cc}{\Phi }_{Q-1}(\mathbf{x}),& x_1^Q,x_1^{Q-1}{x}_2,\dots ,x_d^Q)\end{array}\end{array}$$
那么在经过特征转换后的 hypothesis set 可以表示为
$$\begin{array}{ccccccccccc}{\mathcal{H}}_{{\Phi }_0}& \subset & {\mathcal{H}}_{{\Phi }_1}& \subset & {\mathcal{H}}_{{\Phi }_2}& \subset & {\mathcal{H}}_{{\Phi }_3}& \subset & \dots & \subset & {\mathcal{H}}_{{\Phi }_Q}\\ \Vert & & \Vert & & \Vert & & \Vert & & & & \Vert \\ {\mathcal{H}}_0& & {\mathcal{H}}_1& & {\mathcal{H}}_2& & {\mathcal{H}}_3& & \dots & & {\mathcal{H}}_Q\end{array}$$
可以绘制出结构图：

所以其结构叫做嵌套（nested） ${\mathcal{H}}_i$ 。

非线性转换代价（Price）

对于多项式非线性转换来说，求取 $g_i={\mathrm{argmin}}_{h\in {\mathcal{H}}_i}{E}_{\mathrm{i}\mathrm{n}}(h)$，可以获得以下结果：
$$\begin{array}{ccccccccc}{\mathcal{H}}_0& \subset & {\mathcal{H}}_1& \subset & {\mathcal{H}}_2& \subset & {\mathcal{H}}_3& \subset & \cdots \\ d_{\mathrm{V}\mathrm{C}}\left({\mathcal{H}}_0\right)& \le & d_{\mathrm{V}\mathrm{C}}\left({\mathcal{H}}_1\right)& \le & d_{\mathrm{V}\mathrm{C}}\left({\mathcal{H}}_2\right)& \le & d_{\mathrm{V}\mathrm{C}}\left({\mathcal{H}}_3\right)& \le & \cdots \\ E_{\mathrm{i}\mathrm{n}}\left(g_0\right)& \ge & E_{\mathrm{i}\mathrm{n}}\left(g_1\right)& \ge & E_{\mathrm{i}\mathrm{n}}\left(g_2\right)& \ge & E_{\mathrm{i}\mathrm{n}}\left(g_3\right)& \ge & \cdots \end{array}$$

根据之前推导的公式可知：$\underset{W_0}{\underbrace{1}}+\underset{\text{others }}{\underbrace{\tilde{d}}}\text{ dimensions }=O\left(Q^d\right)$，所以 $Q$ large 意味着 large $d_{\mathbf{v}\mathbf{c}}$。即能力越来越大，复杂度会随之不断增加。

而在分析 VC Dimension 时得出了下面关于$E_{\text{in}}$，$E_{\text{out}}$以及模型复杂度随 $d_{\mathbf{v}\mathbf{c}}$ 的变化曲线图：

所以说能力越大，不一定越适用，在实际运用时，线性先行，从最简单的试起。许多情况下线性模型：简单（simple）, 有效（efficient）, 安全（safe）, 且可行（workable）!