感知机算法收敛性(Novikoff)证明

跟着李沐学AI中提到了感知机(解决二分类问题)的收敛性证明

下面就来证明一下。

教科书上的定理是   设训练数据集T={(x_{1},y_{1}),(x_{2},y_{2}),···,(x_{N},y_{N})}是线性可分的,也就是说通过一条直线便能将两个类别分开。如下图所示:黑线能够将猫和狗分开。其中x_{i}\in \chi = \mathbb{R}^{n},y_{i}\in Y=\{-1,1\},i=1,2,\cdot \cdot \cdot ,N,

存在满足条件\left \| \hat{\omega _{opt}} \right \| =1的超平面\hat{\omega }_{opt}\cdot \hat{x}=\omega_{opt} \cdot x +b_{opt} =0将训练数据集完全正确分开,且存在\gamma >0,对所有i = 1,2,\cdot \cdot \cdot,N

y_{i} (\hat{\omega }_{opt}\cdot \hat{x})=y_{i} (\omega_{opt} \cdot x +b_{opt} )\geq \gamma                                                                                   (1)

假设所有数据有一个最大半径R,则R=\underset{1\leq i\leq N}{max}\left \| \hat{x_{i}} \right \|,通过公式推导可得在感知机算法在训练数据集上的误分类次数k满足不等式

k\leq\left ( \frac{R}{\gamma } \right )^{2}                                                                                                                           (2)

公式(1)的解释是如果网络输出正确,y_{i} (\omega_{opt} \cdot x +b_{opt} )> 0必然成立,此时\gamma作为一个余量,则y_{i} (\omega_{opt} \cdot x +b_{opt} )\geq \gamma也成立。

证明过程如下:

根据感知机训练过程可得:\hat{\omega }_{k}=\hat{\omega }_{k-1}+\eta y_{i}x_{i}                                                                     (3)

等式两侧同时乘\hat{\omega }_{opt}结合公式(1)

则:\hat{\omega }_{k}\cdot\hat{\omega }_{opt}=\hat{\omega }_{k-1}\cdot\hat{\omega }_{opt}+\eta y_{i}\hat{\omega }_{opt}\cdot x_{i} \geq \hat{\omega }_{k-1}\cdot\hat{\omega }_{opt}+\eta\gamma                                              (4)

由(4)进行递推可得

\hat{\omega }_{k}\cdot\hat{\omega }_{opt} \geq \hat{\omega }_{k-1}\cdot\hat{\omega }_{opt}+\eta\gamma\geq \hat{\omega }_{k-2}\cdot\hat{\omega }_{opt}+2\eta\gamma\geq \cdot \cdot \cdot \geq k\eta\gamma                                          (5)

由公式(3)还可得

\left \|\hat{\omega }_{k} \right \|^{2}=\left \|\hat{\omega }_{k-1}+\eta y_{i}x_{i} \right \|^{2}又因为 如果a,b为向量,则有\left \| a+b \right \|^{2}=\left \| a \right \|^{2}+2\cdot a \cdot b+\left \| b \right \|^{2}

因此:

\left \|\hat{\omega }_{k} \right \|^{2}=\left \| \hat{\omega }_{k-1} \right \|^{2 }+2\eta y_{i}\hat{\omega }_{k-1} \cdot \hat x_{i} +\eta ^{2}\left \| \hat x_{i} \right \|^{2}

因为2\eta y_{i}\hat{\omega }_{k-1} \cdot \hat x_{i}是最后第k次误分类的结果,所以 y_{i}\hat{\omega }_{k-1} \cdot \hat x_{i}异号,所以2\eta y_{i}\hat{\omega }_{k-1} \cdot \hat x_{i}\leq 0

所以:

\left \|\hat{\omega }_{k} \right \|^{2}=\left \| \hat{\omega }_{k-1} \right \|^{2 }+2\eta y_{i}\hat{\omega }_{k-1} \cdot \hat x_{i} +\eta ^{2}\left \| \hat x_{i} \right \|^{2} \leq \left \| \hat{\omega }_{k-1} \right \|^{2 }+\eta ^{2}\left \| \hat x_{i} \right \|^{2}                                (6)

又因为

R=\underset{1\leq i\leq N}{max}\left \| \hat{x_{i}} \right \|

所以 \left \|\hat{\omega }_{k} \right \|^{2} \leq \left \| \hat{\omega }_{k-1} \right \|^{2 }+\eta ^{2}\left \|R \right \|^{2} 

递推可得                          \left \|\hat{\omega }_{k} \right \|^{2} \leq \left \| \hat{\omega }_{k-1} \right \|^{2 }+\eta ^{2}\left \|R \right \|^{2}\leq \left \| \hat{\omega }_{k-2} \right \|^{2 }+2\eta ^{2}\left \|R \right \|^{2}\leq \cdot \cdot \cdot \leq k\eta ^{2}\left \|R \right \|^{2}                       

 由柯西不等式:

\hat{\omega }_{k}\cdot\hat{\omega }_{opt} \leq \left \| \hat{\omega }_{k} \right \|\left \| \hat{\omega }_{opt}\right \|

所以

k\eta \gamma \leq \hat{\omega }_{k}\cdot\hat{\omega }_{opt} \leq \left \| \hat{\omega }_{k} \right \|\left \| \hat{\omega }_{opt}\right \|\leq\sqrt{k}\eta R

k^{2}\gamma ^{2}\leq kR^{2}

k\leq \frac{R^{2}}{\gamma ^{2}}

公式得证,就是说最多经过\frac{R^{2}}{\gamma ^{2}}+1次迭代即可找到完美分割的超平面。

 

评论 1 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

beijing_txr

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值