机器学习和数据挖掘（9）：线性模型

线性模型

非线性变换的代价

非线性变换回顾

在之前的文章中我们说过了非线性变换，我们有一个输入${\bf x}=(x_0,\dots,x_d)$，通过一个$\Phi$变化，我们将之投影到一个新的平面上去，得到${\bf z}=(z_0,\dots\dots,z_{\tilde d})$。例如，${\bf z}=(1,x_1,x_2,x_1x_2,x_1^2,x_2^2)$。

变化函数为

$$\bf z = \Phi(x)$$

最终的近似函数在$\mathcal X$所表示的空间，则变成了

$$sign(\tilde {\bf w}^T\Phi({\bf x}))\\OR\\\tilde {\bf w}^T\Phi({\bf x})$$

非线性变换对泛化的影响

$${\bf x}=(x_0,\dots,x_d)\rightarrow\Phi\rightarrow {\bf z}=(z_0,\dots\dots,z_{\tilde d})$$

对于两式而言，我们分别得到了$d+1$和$\tilde d+1$个参数（同时也表示着两个输入的参数自由度），显然后者会比前者大不少，那么根据VC分析，则可以知道:

$$d_{vc}=d+1\\\tilde d_{vc}=\tilde d+1$$

同时我们也可以得到两个权重向量$\bf w$和$\bf \tilde w$，显然后者也比前者长不少。

如果根据上述的变化可以知道的是，尽管我们从理论上可以处理维度比较大的数据，但是根据VC分析，在经过非线性变换之后，很可能我们没有能力去让其泛化。

实际上，我们如果能够精确地对$\bf z$里的数据进行组合，则必然会达到VC维分析的上限。但是实际上有些点集是无法进行自由组合的，因为它们是从左侧的同一个点转化而来的。所以准确的VC分析是：

$$d_{vc}=d+1\\\tilde d_{vc}\leq \tilde d+1$$

样例1

图1中基本可以进行线性分类了，除了个别的几个点，当然也有人说可以将之忽略，这样就可以不用使用非线性变换了。这样做的结果就是需要接受$E_{in}>0$的误差。

如果我们坚持$E_{in}=0$，那么我们就需要将之转化到了更加高维的空间。我们需要用4维的空间才能够合理地分类，如下图所示：

非常明显，这样的泛化结果将是非常糟糕的。

这个例子告诉我们，如果我们不想要设计一个非常复杂的假设集，我们就必须接受由此带来的微小训练误差。

样例2

这是一个真正的无法线性分类的例子。

我们将之转化为${\bf z}=(1,x_1,x_2,x_1x_2,x_1^2,x_2^2)$，使用一个一般二次曲面。

一般来说，如果我们只考虑$x$，则我们只需要考虑前三个元素，则付出三个元素的代价，则更容易解决问题。如果我们考虑全部元素，则需要付出六个元素的代价。基本上我们认为，想要达到同等的性能水平，至少需要使用二倍数量的样本。

那我们使用一个小小的技巧，我们将之转化为

$${\bf z}=(1,x_1^2,x_2^2)$$
因为我们只需要$x_1^2$表示一个方向，$x_2^2$表示一个方向，其他元素在整个过程之中并没有发挥作用。
让我们再使用一个小小的技巧，我们将之简化为

$${\bf z}=(1,x_1^2+x_2^2)$$
最终我们可以将之简化为
$${\bf z}=(x_1^2+x_2^2-0.6)$$
这样我们就得到了一个VC维只有1的变化方式，同时这样也可以得到非常优秀的泛化。

我们明确地知道上面的分析是有一定问题的。对于一个未知的学习函数而言，我们需要将整个参数都进行训练，才能知道，哪一些是需要的，哪一些是不需要的。

如果在选择模型之前，先看到了数据，会对最终的$E_{out}$起到非常坏的作用。
因为实际上我们已经收到了数据的影响，用于描述泛化的量将会在这个过程中变得非常模糊。这被称为data snooping。

逻辑回归

$$s=\sum_{i=0}^dx_i$$

对于不同的线性模型，相当于处理的时候方式不同

感知器就是通过阈值来进行正负判断，而线性回归则是保持原有的输入，逻辑回归则是介于两者之间的一种方式。

感觉讲逻辑回归的东西非常多，就不写了。