Machine Learning Foundations 作业二 Question 6 解答

下面这道题出自于台大线上课程，Machine Learning Foundations，作业二 Question 6。其答案是

N^2 - N + 2

这道题目求一种Hypothesis Set的成长函数。这种Hypothesis Set称为positive-and-negative intervals。该成长函数为 

N^2 - N + 2 

如何求得？
要先了解，什么是positive-and-negative intervals。
题目有说明，h1是属于hypothesis set, H，而h2不属于H，为何？
如何理解下面这道式子？

h1(x) = sign (x(x-4))

其实我们将这导式子转成下面这道，有助于我们理解

f1(x) = x (x - 4)

用Python画出f1(x)如下： 

我们可以基于张图画出h1(x) = sign (x(x-4))如下：

所以h1(x)是一个Negative Intervals，属于H

同理 

h2 (x) = sign ((x+1)(x)(x-1))

转成下面这道式子：

f2(x) = (x+1)(x)(x-1)

用Python画出f2(x)如下： 

我们可以基于张图画出

h2(x) = sign((x+1)(x)(x-1)) 

如下：

可以看出来，h2(x)不是一个Positive and Negative Intervals，所以不属于H。

现在有一个问题是，如何用一个式子表达positive and negative intervals？我们知道h1是negative interval，将它上下巅到，就成为positive interval

h3(x) = sign ((-1)x(x-4))

就用Python画f3(x)，加上手绘的+-，表达h3(x)如下： 

可以看出来，h3(x)是一个Positive Interval，所以属于H。

我们将h1与h3结合在一起：

h(x) = sign (s * x * (x-4)), s = +1 or -1

再写成更通用一点，就是：

h(x) = sign (s * (x - a) (x - b)), s = +1 or -1

这就是用一个式子表达positive and negative intervals。

这个式子，也可以写成下面这道：

h(x) = s * sign ((x - a) (x - b)), s = +1 or -1

为何？我们将 h3改写成下面这道式子，来解释原因：

h4(x) = (-1) sign (x(x-4))

就用Python画f4(x)=x(x-4)如下，加上手绘的+-，表达h4(x)如下： 

在这里，我想表达的思路是，用来达达positive and negative intervals的式子：

h(x) = sign (s * (x - a) * (x - b)), s = +1 or -1

若将它视为一维空间的问题，会不太好理解，所以我将它转成二维空间，就是加上y轴，这样对这道式子会更好理解。甚至，可以用三维空间，理解这道式子：

h(x) = s * sign ((x - a) * (x - b)), s = +1 or -1

下图是s = 1的情况 

下图是s = -1的情况

所以这两张是鸟瞰图，+号代表高于水平面，-号代表低于水平面。这就是用3D的视角来看待这个问题。

f(x) = (x - a) (x - b)

h(x) = s * sign (f(x)), s = +1 or -1

这道式子的好处是，f(x)不变的情况下，只要切换s为+1或-1即可

回到正题，如何求positive and negative intervals的成长函数？

我们把这个问题拆成两个部份来看待：Positive Intervals和Negative Intervals，然后各别求这两个的成长函数：

Positive Intervals

红色的线段，代表positive interval。以5个点来表，可以从5+1的间隔选取两个位置，成为一个interval，共有C(5+1, 2)的情况，还要再加上全部为负的情况 

从5个点推扩到n个点：

Negative Intervals

紫色的线段，代表negative interval 

其成长函数与postive interval 同：

我们设Positive Intervals的hypothesis set设为PI，Negative Intervals的hypothesis set设为NI。于是，求Positive and Negative Intervals的hypothesis set就是两个集合的联集。求它的成长函数，就是删除重覆的部份，如下图：

接下来，开始思考如何删除重覆的部份。我们拿3个点观察postivie and negative intervals的hypothesis set长什么样子：

我们发现，灰色的线所连接的，代表重覆的hypothesis。这里重覆的有6个。进一步观察，这6个重覆的，有什么规律可寻，我们从PI对NI重覆的，列举如下：

所以重覆的部份为2n，故我们推算，positive and negative intervals的成长函数如下：

- Count