机器学习算法（分类算法）—Rosenblatt感知机的对偶解法

一、Rosenblatt感知机回顾

    在博文“简单易学的机器学习算法——Rosenblatt感知机”中介绍了Rosenblatt感知机的基本概念。Rosenblatt感知机是针对线性可分问题的二分类算法。通过构造分离超平面将正类和负类区分开。构造了如下的输入空间到输出空间的函数：

其中，为权重，为偏置。 为符号函数：

求解这个函数的重点就是求解函数中的参数：和。Rosenblatt感知机通过构造损失函数，并求得使得这样的损失函数达到最小时的和。

    其中，为：

这里的为所有误分类的点的集合。我们的目标是求得损失函数的最小值：。

    通过梯度下降法(详细请见“简单易学的机器学习算法——Rosenblatt感知机”)，我们得到了和的更新公式：

其中，为学习率。

二、Rosenblatt感知机的对偶形式

    对偶形式的基本想法是，将和表示为实例和标记的线性组合的形式，通过求解其系数而求得和。

    通过上面的和的更新公式，我们发现，和是一个累加的过程。如果令，，则和可以表示为：

其中，。

    此时的感知机模型就变为：

三、算法流程

• 初始化，
• 选择误分类数据点，即，更新和

• 直到没有误分类的点，否则重复步骤2
• 计算出

四、实验的仿真

    利用博文“简单易学的机器学习算法——Rosenblatt感知机”中的数据集，原始数据集如下图所示：

(原始数据点)

MATLAB代码

[plain] view plain copy

1. %% Rosenblatt感知机的对偶解法  
2. clear all;  
3. clc;  
4.   
5. %读入数据  
6. x=[3,3;4,3;1,1];  
7. y=[1;1;-1];  
8. [m,n] = size(x);%取得数据集的大小  
9.   
10. %% 画出原始的点  
11. hold on  
12. axis([0 5 0 5]);%axis一般用来设置axes的样式，包括坐标轴范围，可读比例等  
13. for i = 1:m  
14.     plot(x(i,1),x(i,2),'.');  
15. end  
16.   
17. %% 初始化  
18. alpha = zeros(1,m);  
19. b = 0;  
20. yita = 1;%学习率  
21. gram = zeros(m,m);  
22.   
23. %% 计算Gram矩阵  
24. for i = 1:m  
25.     for j = 1:m  
26.         gram(i,j)=x(i,:)*x(j,:)';  
27.     end  
28. end  
29.   
30. %% 更新  
31. for i = 1:m  
32.     tmp = 0;  
33.     for j = 1:m  
34.         tmp = tmp + alpha(j)*y(j)*gram(i,j);  
35.     end  
36.     tmp = tmp + b;  
37.     tmp = y(i)*tmp;  
38.     if tmp <= 0  
39.         alpha(i) = alpha(i)+yita;  
40.         b = b + y(i);  
41.     end  
42. end  
43. % 要使得数据集中没有误分类的点  
44. flag = 0;%标志位，用于标记有没有误分类的点  
45. i = 1;  
46. while flag~=1  
47.     while i <= 3  
48.         tmp = 0;  
49.         for j = 1:m  
50.             tmp = tmp + alpha(j)*y(j)*gram(i,j);  
51.         end  
52.         tmp = tmp + b;  
53.         tmp = y(i)*tmp;  
54.         if tmp <= 0  
55.             alpha(i) = alpha(i)+yita;  
56.             b = b + y(i);  
57.             i = 1;%重置i  
58.             break;  
59.         else  
60.             i = i+1;  
61.         end  
62.         if i == 4  
63.             flag = 1;  
64.         end  
65.     end  
66. end  
67.   
68. %% 重新计算w和b  
69. for i = 1:m  
70.     x_new(i,:) = x(i,:) * y(i);  
71. end  
72. w = alpha * x_new;  
73.   
74. %% 画出分隔线  
75. x_1 = (0:3);  
76. y_1 = (-b-w(1,1)*x_1)./w(1,2);  
77. plot(x_1,y_1);  

最终的分离超平面：

(最终分离超平面)