01 感知机方法

最新推荐文章于 2024-05-07 19:37:44 发布

学海无涯～

最新推荐文章于 2024-05-07 19:37:44 发布

阅读量115

点赞数

分类专栏：机器学习机器学习的数学基础文章标签：机器学习算法

本文链接：https://blog.csdn.net/weixin_42149467/article/details/112633179

版权

机器学习同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

机器学习的数学基础

4 篇文章 0 订阅

订阅专栏

感知机方法

模型

$f (x) = s i g n (w \cdot x + b)$

策略

损失函数极小化
$\begin{aligned} &\min_{w,b} L(w,b) = -\sum_{x_i \in M} y_i(w·x_i +b) \end{aligned}$

损失函数：将损失函数定义为分类点到超平面S的距离总和

$-\sum_{x_i \in M} y_i(w·x_i +b)$

损失函数的梯度：

$\begin{aligned} &{\nabla}_wL(w,b) = - \sum_{x_i \in M}y_ix_i\\ &{\nabla}_wL(w,b) = - \sum_{x_i \in M}y_ix_i \end{aligned}$

损失函数的求解：梯度下降法求解极小化损失函数的参数w,b，从而得到分离超平面S。

算法

1、感知机学习算法的原始形式

算法：

$\begin{aligned} 输入：\\ &T = {(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)};\\ &x_i \in \mathcal{X}=R^n,y_i \in \mathcal{Y} = \{+1,-1\},i=1,2,\dots,N;\\ &\eta；0<\eta\leq 1\\ 输出：\\ &w,b,感知机模型：f(x) = sign(w·x +b)\\ 步骤：\\ &1、选取初始值:w_0，b_0\\ &2、在训练集中选取数据:（x_i，y_i）\\ &3、如果y_i(w·x_i+b) \leq 0:\\ &\quad\quad \quad\quad w \leftarrow w +\eta y_i x_i\\ &\quad\quad\quad\quad b \leftarrow b +\eta y_i\\ &4、转至步骤2，直至训练集中没有误分类点 \end{aligned}$

算法解释：

当一个实例被误分类，即位于分离超平面错误的一侧，则调整w，b，使超平面向错误的一侧移动，以减少该分类点与超平面之间的距离，直到超平面超过该误分类点。

收敛性（Novikoff定理）：

感知机算法对于线性可分数据集来说是收敛的，即通过有限次的搜索迭代，感知机算法最终会得到一个将实例完全正确分开的分离超平面。如果数据集是线性不可分的，那么感知机算法不收敛，迭代结果会发生震荡。感知机在训练数据集上的误分类次数k满足：
$\leq(\frac{R}{\gamma})^2$

2、感知机学习算法的对偶形式

算法：

$\begin{aligned} 输入：\\ &T = {(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)};\\ &x_i \in \mathcal{X}=R^n,y_i \in \mathcal{Y} = \{+1,-1\},i=1,2,\dots,N;\\ &\eta；0<\eta\leq 1\\ 输出：\\ &\alpha,b,感知机模型：f(x) = sign(\sum_{i=1}^N \alpha_iy_ix_j·x +b),\alpha = (\alpha_1,\alpha_2,\dots,\alpha_N)^T\\ 步骤：\\ &1、选取初始值:\alpha \leftarrow 0;b \leftarrow0\\ &2、在训练集中选取数据:（x_i，y_i）\\ &3、如果y_i( \sum_{j=1}^N \alpha_jy_jx_j·x_i +b) \leq 0:\\ &\quad\quad \quad\quad \alpha \leftarrow \alpha_i+\eta\\ &\quad\quad\quad\quad b \leftarrow b +\eta y_i\\ &4、转至步骤2，直至训练集中没有误分类点 \end{aligned}$