《统计学习方法》第二版 -- 第二章感知机

最新推荐文章于 2022-05-18 22:00:00 发布

hhhhh0hhhhhh

最新推荐文章于 2022-05-18 22:00:00 发布

阅读量174

点赞数

分类专栏：统计学习方法

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_39847930/article/details/101147953

版权

统计学习方法专栏收录该内容

3 篇文章 0 订阅

订阅专栏

Perceptron是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和 -1.

感知机对应于输入空间(特征空间)中将实例划为正负两类的分离超平面，属于判别模型

是神经网络与支持向量机的基础

2.1 感知机模型

$&f(x) = sign(w\cdot x+b)\\ &sign(x) = \left\{\begin{aligned} +1 & , & x\geq 0 \\ -1 & , & x < 0 \\ \end{aligned}$

w和b属于感知机模型参数， $w\in{R^n}$ 叫做权值或者权值向量， $b\in{R}$ 叫做偏置， $w\cdot x$ 表示两者的内积，sign是符号函数。

线性分类模型属于判别模型

假设空间定义在特征空间中的所有线性分类模型或线性分类起，即函数集合 $\{f|f(x) = w\cdot x + b\}$

线性方程： $w\cdot x + b = 0$ 对应于特征空间 R^n 中的一个超平面S， w为超平面的法向量，b为超平面的截距。平面将特征空间划分为两个部分，其中的点分别称为正类和负类。以此S称为分离超平面

2.2 感知机学习策略

假设线性可分，由于误分点总数的损失函数不是连续可导函数，所以根据误分点到S的总距离作为损失函数

空间中任意一点到超平面的距离：

$\frac {1}{\left \| w \right \|}\left | w\cdot x + b \right |$

损失函数定义

$L(w,b) = -\sum_{x_i\in M}y_i(w\cdot x + b)$

M为误分类点的集合

2.3 感知机的学习算法

随机梯度下降法 stochastic gradient descent

原始形式和对偶形式

对偶形式的基本想法是，将w和b表示为实例 x_i 和 y_i 的线性组合的形式，通过求解其系数而求得w 和 b

原始形式：

$\begin{align*} w\leftarrow w+\eta y_ix_i \\ b\leftarrow b+\eta y_i{ }\end{align*}$

对偶形式：

感知机模型 $f(x) = sign(\sum_{j=1}^{N} \alpha _j y_j x_j \cdot x + b)$

参数更新

$\begin{align*} \alpha _i \leftarrow\alpha_i + \eta\\ b\leftarrow b + \eta y_i \end{align*}$

可预先将训练集中实例间的内积计算出来并以矩阵的形式存储。这个矩阵就是所谓的Gram矩阵

$G=\left [ x_i \cdot x_j \right ]_{N \times N}$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。