学习笔记
1.感知机模型
假设输入空间(特征空间)是 X⊆Rn X ⊆ R n ,输出空间是 Y={ +1,−1} Y = { + 1 , − 1 } 。输入 x∈X x ∈ X 表示示例的特征向量,对应于输如入空间的点;输出 y∈Y y ∈ Y 表示示例的类别。由输入空间到输出空间的如下函数
f(x)=sign(w⋅x+b f ( x ) = sign ( w ⋅ x + b成为感知机。其中, w w 和 为感知机模型参数, w∈Rn w ∈ R n 叫作权重(weight)或权值向量(weight vector), b∈R b ∈ R 叫作偏置(bias), w⋅x w ⋅ x 表示 w w 和 的内积。sign是符号函数,即
sign(x)={ +1,−1,x≥0x<0 sign ( x ) = { + 1 , x ≥ 0 − 1 , x < 0
感知机是一种线性分类模型,属于判别模型。
线性方程 w⋅x+b=0 w ⋅ x + b = 0 对应于特征空间 Rn R n 中的超平面 S S ,其中 w w 是超平面的法向量,
是超平面的截距。这个超平面将特征空间划分为两部分,位于两部分的点分别被分为正类和负类。超平面 S S 也被称为分离超平面。
2.感知机学习策略
为确定感知机模型的参数 w w 和
,需要确定一个学习策略,即定义损失函数并将损失函数极小化。感知机学习的策略是在假设空间中选取使损失函数最小的模型参数 w w 和
。在这里,感知机所采用的损失函数是误分类点到超平面 S S 的总距离。
给定一个线性可分的训练集
T={
(x1,y1),(x2,y2),...(xN,yN)} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) }
其中,
xi∈X=Rn,y∈Y={
+1,−1},i=1,2,…,N x i ∈ X = R n , y ∈ Y = { + 1 , − 1 } , i = 1 , 2 , … , N
在输入空间