笔记-感知机、超平面

1.感知机

感知机是一种二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别{+1，-1}。感知机要求数据集是线性可分的。
按照统计学习三要素模型、策略、算法的顺序来介绍。

2.感知机模型

由输入空间到输出空间的如下函数：

$$f(x)=sign(\omega\cdot x+b)$$
其中 $\omega，b$ 为模型参数， $\omega\subset R^n$叫权值（weight）或权值向量（weight vector）, $b\subset R$叫偏置。
感知机模型的假设空间是定义在特征空间中的所有线性分类模型（linear classification model）或线性分类器（linear classifier），即函数集合 $\{f|f(x)=\omega \cdot x +b\}$.

2.1感知机模型的几何解释

线性方程$\omega\cdot x+b$对应于特征空间的一个超平面S，$\omega$代表超平面的法向量，$b$代表截距。这个超平面将特征空间分为两个部分，位于两部分的点（特征向量）被划分为正负两类，所以超平面S被称为分离超平面（separating hyperplane）。

在看几何模型这里有几点疑惑：
1.超平面是什么
2.原点到超平面的距离$-\frac{b}{\Vert \omega \Vert}$（纯属高数忘的差不多了）

2.1.1超平面

百度百科给出的定义：超平面是n维欧式空间中余维度等于一的线性子空间（也就是说超平面的维度为n-1）。这是平面中的直线、空间中的平面之推广。

似乎并没有起到什么帮助理解的作用！这个东西为什么要叫超平面也是很迷！刨除这个蜜汁叫法，还是试图从公式上进行理解吧。

百度到资料一：给定$R^n$空间中的一点$p$和非零向量$\vec n$，满足

$$\vec n \cdot (x-p)=0$$

的点集$x$称为经过点$p$的超平面。向量$\vec n$为该超平面的法向量。按照这个定义，一条直线是$R_2$空间的超平面，一个平面是$R_3$空间的超平面。

老学长解惑：在$R^n$空间中的超平面为：

$$\vec \omega^T \cdot \vec x+b=0$$
在几维空间中，向量 $\vec \omega,\vec x$就是几维的。当然， $\vec \omega ，\vec x$属于该空间。在二维空间下，该方程表示一条直线，直线是平面的超平面。三维空间下，该方程表示一个平面，平面是空间的超平面。

老学长这个解释，我还是比较能接受的。

2.1.2点到超平面的距离

写到这里，我已决心要重看一遍高数。
向量的投影：给定两个向量$\vec u,\vec v$,求$\vec u$在$\vec v$上的投影长度，向量间的夹角为$\cos \theta$。

算不上推导的推导：

$$d=|u| \cdot \cos \theta$$
$$\cos \theta=\frac{u\cdot v}{|u||v|}$$
综上， $$d=\frac{u\cdot v}{|v|}$$
点到超平面的距离：假设 $\vec x_0$是超平面 ω⃗ T⋅x