1.感知机
感知机是一种二分类的线性分类模型,输入为实例的特征向量,输出为实例的类别{+1,-1}。感知机要求数据集是线性可分的。
按照统计学习三要素模型、策略、算法的顺序来介绍。
2.感知机模型
由输入空间到输出空间的如下函数:
其中 ω,b 为模型参数, ω⊂Rn 叫权值(weight)或权值向量(weight vector), b⊂R 叫偏置。
感知机模型的假设空间是定义在特征空间中的所有线性分类模型(linear classification model)或线性分类器(linear classifier),即函数集合 { f|f(x)=ω⋅x+b} .
2.1感知机模型的几何解释
线性方程 ω⋅x+b 对应于特征空间的一个超平面S, ω 代表超平面的法向量, b 代表截距。这个超平面将特征空间分为两个部分,位于两部分的点(特征向量)被划分为正负两类,所以超平面S被称为分离超平面(separating hyperplane)。
在看几何模型这里有几点疑惑:
1.超平面是什么
2.原点到超平面的距离
2.1.1超平面
百度百科给出的定义:超平面是n维欧式空间中余维度等于一的线性子空间(也就是说超平面的维度为n-1)。这是平面中的直线、空间中的平面之推广。
似乎并没有起到什么帮助理解的作用!这个东西为什么要叫超平面也是很迷!刨除这个蜜汁叫法,还是试图从公式上进行理解吧。
百度到资料一:给定 Rn 空间中的一点 p 和非零向量
的点集 x 称为经过点
老学长解惑:在 Rn 空间中的超平面为:
在几维空间中,向量 ω⃗ ,x⃗ 就是几维的。当然, ω⃗ ,x⃗ 属于该空间。在二维空间下,该方程表示一条直线,直线是平面的超平面。三维空间下,该方程表示一个平面,平面是空间的超平面。
老学长这个解释,我还是比较能接受的。
2.1.2点到超平面的距离
写到这里,我已决心要重看一遍高数。
向量的投影:给定两个向量 u⃗ ,v⃗ ,求 u⃗ 在 v⃗ 上的投影长度,向量间的夹角为 cosθ 。
算不上推导的推导:
综上,
点到超平面的距离:假设 x⃗ 0 是超平面 ω⃗ T⋅x