【感知机】感知机(perceptron)模型与几何解释

F_D_Z

已于 2024-02-18 12:31:47 修改

阅读量436

点赞数 11

分类专栏：机器学习方法文章标签：支持向量机学习算法

于 2024-02-17 17:41:34 首次发布

本文链接：https://blog.csdn.net/weixin_73404807/article/details/136140330

版权

机器学习方法专栏收录该内容

22 篇文章 0 订阅

订阅专栏

感知机( perceptron )是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和-1二值。感知机对应输入空间(特征空间)中将实例划分为正负两类的分离超平面，是一种判别模型。感知机是神经网络与支持向量机的基础

感知机学习旨在求出将训练数据进行线性划分的分离超平面。

感知机学习思路：

1.导入基于误分类的损失函数

2.利用梯度下降法对损失函数进行极小化

3.代入参数得到感知机模型。

感知机学习算法分类：

原始形式、对偶形式。

感知机模型

定义设输入空间（特征空间） $\mathcal{X} \in \mathbb{R}^{n}$ ,输出空间 $\mathcal{Y}=\left \{ +1,-1 \right \}$ 。输入 $x\in \mathcal{X}$ 表示实例的特征向量，对应于输入空间的点，输出 $y\in\mathcal{Y}$ 表示实例的类别，由输入空间到输出空间的函数 $f(x)=sign(w\cdot x+b)$ 称为感知机。

w，b为参数。 $w\in \mathbb{R}^{n}$ 叫做权值或权值向量（weight vector），b叫作偏置（bias）

符号函数sign的功能是取某个数的符号

$sign(x)=\left\{\begin{matrix}+1,x\geq 0 \\ -1,x<0 \end{matrix}\right.$

感知机模型的假设空间是定义在特征空间中的所有线性分类模型或线性分类器，即函数集合 $\left \{ f|f(x)=w\cdot x+b \right \}$

感知机的几何解释

$w\cdot x+b=0$ ：对应特征空间 $\mathbb{R}^{n}$ 中的一个超平面 $S$ ，这个超平面将特征空间划分为两个部分，称为分离超平面（separating hyperplane）

b：超平面的截距

w：超平面的法向量

数据集的线性可分性

给定一个数据集 $T=\left \{ (x_1,y_1),(x_2,y_2),...,(x_N,y_N) \right \}$ ，其中 $x_i\in\mathbb{R}^{n}$ , $y_i\in\left \{ +1,-1 \right \}$ ，如果存在一个超平面 $w\cdot x+b=0$ ，能够正确地划分所有正负实例点，则称数据集 $T$ 为线性可分数据集（linearky separable data set），否则称其线性不可分.