感知机(神经网络和支持向量机基础)

最新推荐文章于 2024-02-24 20:44:49 发布

预知梦_

最新推荐文章于 2024-02-24 20:44:49 发布

阅读量1k

点赞数 1

分类专栏：机器学习知识回顾文章标签：向量机机器学习算法

本文链接：https://blog.csdn.net/im_chenxi/article/details/80272566

版权

机器学习知识回顾专栏收录该内容

12 篇文章 0 订阅

订阅专栏

感知机学习旨在求出将训练数据进行线性划分的分离超平面，因此导入误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。

一、感知机模型

$f(x)=sign(w\cdot x+b)$ ,其中w和b是感知机的参数，sign是符号函数： $sign(x)=\left\{\begin{matrix} +1, x\geq 0\\ -1, x< 0 \end{matrix}\right.$

即 $w\cdot x+b=0$ 对应一个分离超平面S，完全线性可分的数据集会被S分为2类。

二、感知机的学习策略

损失函数：一个自然选择是误分类点的个数，但是其不是参数w，b的连续可导函数，不易优化。

另一种：误分类点到超平面S的总距离。空点任意一点到S的公式： $\frac{1}{||w||}|w\cdot x_{0}+b|$ ,||w||是L2范数。

于是，感知机的损失函数： $-\frac{1}{||w||}\sum_{x_i\in M}{y_i}|w\cdot x_{i}+b|$ 。

三、感知机的学习算法

使用随机梯度下降法最优化损失函数。

1.感知机学习算法的原始形式：

输入：训练数据集，学习率 $\eta$ 。

输出：w，b和感知机模型

步骤：1.选取初值 $w_0,b_0$

2.在训练集中选取数据 $(x_i,y_i)$

3.如果 $y_i(w\cdot x_i+b)\leq 0$ : $w\leftarrow w+\eta y_ix_i$ $b\leftarrow b+\eta y_i$

其中后面的变化值均是根据这一误分类点的损失函数对w和b求导而来

4.转至(2)，直至训练集没有误分类点。

2.感知机学习算法的对偶形式

输入：训练数据集，学习率 $\eta$ 。

输出： $\alpha$ ，b和此时的感知机模型： $f(x)=sign(\sum_{N}^{j=1}\alpha_j y_j x_j \cdot x+b)$ ，其中 $\alpha_j=n_j \eta$

对这个对偶形式感知机的直观理解：j遍历数据集所有的x，如果有误分类点，就对w和b进行一次参数梯度更新： $w\leftarrow w+\eta y_ix_i$ $b\leftarrow b+\eta y_i$ ，某个点 $x_j$ 一共进行了 $n_j$ 次，才能使得它不会被误分类，然后w的累积变化值就是 $\sum_{i=1}^{N}\alpha_i y_i x_i$ 。并且 $\alpha$ 初始值为0，其变化值就是最终值，b同理。

步骤：1. $\alpha \leftarrow 0 ;b\leftarrow 0$

2.在训练集中选取数据 $(x_i, y_i)$

3.如果 $y_i(\sum_{j=1}^{N}\alpha _j y_j x_j \cdot x_i +b)\leq 0$ ,则 $\left\{\begin{matrix} \alpha_i\leftarrow \alpha_i+\eta\\ b\leftarrow b+\eta y_i \end{matrix}\right.$

4.转至2，直到没有误分类数据。

注：对梯度变化的直观理解：使超平面S向使得xi能够正确分类的方向移动一个距离，使其能够趋向正确分类。

对 $\alpha$ 的直观理解：对于误分类点的移动次数。

感知机由于采用不同的初值或选取不同的误分类点，得到的分离超平面可能不同。

预知梦_

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
感知机(神经网络和支持向量机基础)

感知机学习旨在求出将训练数据进行线性划分的分离超平面，因此导入误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。一、感知机模型 ,其中w和b是感知机的参数，sign是符号函数：即对应一个分离超平面S，完全线性可分的数据集会被S分为2类。二、感知机的学习策略损失函数：一个自然选择是误分类点的个数，但是其不是参数w，b的...
复制链接

扫一扫