多层感知机-CSDN博客

本文链接：https://blog.csdn.net/w946612410/article/details/132569081

1、感知机

给定输入x，权重w，和偏移b，感知机输出：
$o=\sigma\left(\langle\mathbf{w},\mathbf{x}\rangle+b\right)\quad\sigma(x)=\begin{cases}1&\text{if}\quad x>0\\-1&\text{otherwise}\end{cases}$
其中：
x和w是向量，b是标量
(w,x) w和x做内积

感知机可以看做是一个二分类问题-1或1。

根据下图：
在这里插入图片描述
由多个元素的输入，得到一个单元素的输出。

在这里插入图片描述

$y_i$ 是个标号[1或-1]， $[\langle w,x_i\rangle+b]$ 相当于感知机预测的结果；
如果 $y_i$ 是1， $[\langle w,x_i\rangle+b]>0$ （反之 $y_i$ 是-1， $[\langle w,x_i\rangle+b]<0$ ）说明样本 $x_i$ 分类正确，进行下一个样本；
如果 $[\langle w,x_i\rangle+b]<=0$ ，两者相乘<=0，说明感知机预测错误，
满足这个情况的话，就说明当前的权重对样本的分类是错误的。如果分类错误，就对w进行更新， $w= w+y_ix_i$ ， $b= b+y_i$

感知机等价于使用批量大小为1的梯度下降（批量大小为1 = 每次拿一个样本去算梯度，进行更新），并使用如下的损失函数：
$\ell(y,\mathbf{x},\mathbf{w})=\max(0,-y\langle\mathbf{w},\mathbf{x}\rangle)$

先计算下标号y和w与x的内积；
max(0代表的就是if，如果你分类正确， $y*\langle\mathbf{w},\mathbf{x}\rangle$ 结果大于0，加负号就是小于0，max函数取0梯度是一个常数，代表上面的if语句不成立，权重就不更新；如果分类错误，这时候就有梯度了，就需要对权重w进行更新。