《统计学习方法》感知机学习笔记与Python实现

学习笔记

1.感知机模型

假设输入空间(特征空间)是 XRn X ⊆ R n ,输出空间是 Y={ +1,1} Y = { + 1 , − 1 } 。输入 xX x ∈ X 表示示例的特征向量,对应于输如入空间的点;输出 yY y ∈ Y 表示示例的类别。由输入空间到输出空间的如下函数

f(x)=sign(wx+b f ( x ) = sign ( w ⋅ x + b
成为感知机。其中, w w b 为感知机模型参数, wRn w ∈ R n 叫作权重(weight)或权值向量(weight vector), bR b ∈ R 叫作偏置(bias), wx w ⋅ x 表示 w w x 的内积。sign是符号函数,即
sign(x)={ +1,1,x0x<0 sign ( x ) = { + 1 , x ≥ 0 − 1 , x < 0

感知机是一种线性分类模型,属于判别模型
线性方程 wx+b=0 w ⋅ x + b = 0 对应于特征空间 Rn R n 中的超平面 S S ,其中 w w 是超平面的法向量, b 是超平面的截距。这个超平面将特征空间划分为两部分,位于两部分的点分别被分为正类和负类。超平面 S S 也被称为分离超平面。

2.感知机学习策略

为确定感知机模型的参数 w w b ,需要确定一个学习策略,即定义损失函数并将损失函数极小化。感知机学习的策略是在假设空间中选取使损失函数最小的模型参数 w w b 。在这里,感知机所采用的损失函数是误分类点到超平面 S S 的总距离。
给定一个线性可分的训练集

T={ (x1,y1),(x2,y2),...(xN,yN)} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . ( x N , y N ) }
其中, xiX=Rn,yY={ +1,1},i=1,2,,N x i ∈ X = R n , y ∈ Y = { + 1 , − 1 } , i = 1 , 2 , … , N
在输入空间
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值