感知机学习算法初步1

最新推荐文章于 2024-02-19 14:15:00 发布

wuxiaotongrg

最新推荐文章于 2024-02-19 14:15:00 发布

阅读量455

点赞数

文章标签：统计学习方法 python

本文链接：https://blog.csdn.net/csu_wxt/article/details/51464437

版权

感知机学习算法初步—1

本博文简单介绍了感知机学习算法，给出了解决思路，算法，实验代码，以及实验结果等等。

问题定义1

给定一个训练数据集

T = {(x 1, y 1), (x 2, y 2, \dots, (x N, y N))}

$T=\{ (x_{1},y_{1}),(x_{2},y_{2},\cdots,(x_{N},y_{N})) \}$
其中，

xi∈Rn $x_{i}\in R^{n}$ ,

yi∈{1,−1} $y_{i}\in \{1,-1\}$ ,

i=1,2,⋯,N $i=1,2,\cdots,N$ ，求参数

w,b $\textbf{w}, b$ ，使其为以下损失函数极小化问题的解

min w, b L (w, b) = - \sum x i \in M y i (w \cdot x i + b)

$\min_{\textbf{w},b} L(\textbf{w},b) = -\sum_{x_{i}\in M} y_{i}(w\cdot x_{i}+b )$
其中，

M $M$ 为误分类点的集合。

解决思路

感知机学习算法是无分类驱动的，具体采用随机梯度下降法（stochastic gradient descent）。首先，任意选取一个超平面 $w_{0},b_{0}$ ，然后采用梯度下降法不断地极小化目标函数。极小化过程中不是一次使 $M$ 中所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。

算法1 （感知机学习算法的原始形式）
输入： $T$ ，学习率 $\eta (0<\eta\le 1)$ ；
输出： $\textbf{w}, b$
1. 随机生成初值 $\textbf{w} = \textbf{w}_{0}, b = b_{0}$
2. 如果存在误分类点，在训练集中选取误分类点 $(x_{k},y_{k})$ ，即 $y_{k}*(\textbf{w}\cdot x_{k}+b)\le 0$
3. $\textbf{w} = \textbf{w}+\eta\cdot y_{k}\cdot x_{k}$ 和 $b = b+\eta\cdot y_{k}$
4. 跳转到2，直至训练集中没有误分类点

实验分析

我们以《统计学习方法》中的例2.1作为示例，来验证我们的代码正确与否，Python代码如下：

import numpy as np
import matplotlib.pyplot as plt

x = [[3,3],[4,3],[1,1]]
y = [1,1,-1]

w = np.zeros(2)
b = 0

while 1:
    for i in range(3):
        flag = 0
        if (np.dot(w,x[i])+b)*y[i] <= 0:
            w = np.add(w,np.multiply(x[i],y[i]))
            b = b+y[i]
            print i,w,b
            flag = 1
            break

    if flag == 0:
        break


print w,b

s1 = np.linspace(0,5,100)    
s2 = (-1*b-w[0]*s1)/w[1] 

plt.plot([3,4],[3,3],'*',[1],[1],'o',s1,s2,'r-')    
plt.show()