一、Rosenblatt感知机小结
感知机模型
输入向量:
x(n)=[+1,x1(n),x2(n),...,xm(n)]T
权重向量:
w(n)=[b,w1(n),w2(n),...wm(n)]T
当输入向量线性可分时,我们需要寻找到一个合适的w,正确地分开两类数据
当
wTx>0
时,x属于分类1
当
wTx≤0
时,x属于分类-1
选取符合函数sign(x)为硬限幅函数,我们的模型可以描述为
y=sign(wTx)
所以训练过程可描述如下:
x(n):输入向量
w(n): 权重向量
y(n):模型产生的响应
d(n):期望的响应
eta:学习速率
初始化w=[0; 0; ...0];
for i = 1 :N//批次循环N次
for j = 1 : n//遍历一次样本,n为样本个数
y(j) = sign(w * x(j));
w = w + eta * (d(j) - y(j)) * x(j)//调整权重
end
计算均方差;
end
二、代码实现
1.产生随机数
产生两类半圆形数据,参数r,dr,d如下图所示
matlab代码如下
function [x1,y1,x2,y2] = GenRandomData(r, d,dr, n1, n2)
if nargin<4
r=1;
d=1;
n1=100;n2=100;
end
dr1=rand([n1,1])*dr;theta1=rand([n1,1])*pi;
dr2=rand([n2,1])*dr;theta2=-rand([n2,1])*pi;
x1=(r-dr/2+dr1).*cos(theta1);
y1=(r-dr/2+dr1).*sin(theta1);
x2=r+(r-dr/2+dr2).*cos(theta2);
y2=-d+(r-dr/2+dr2).*sin(theta2);
end
2.Rosenblatt感知机
function [w, err] = Rosenblatt(x,d,w0,etaLim,epochN)
%x: m x n, m: feature numbers, n: sample numbers
isPlotLine = 1;%是否画出拟合中曲线的变化
if isPlotLine
figure;
plot(x(2, d == 1),x(3, d == 1),'LineStyle','none','Marker','x','Color','r');
hold on;
plot(x(2, d == -1),x(3, d == -1),'LineStyle','none','Marker','o','Color','b');
end
[m,n] = size(x);
MSEarr = [];w = w0;epochi = 0;
%训练速率eta采用线性退火
eta=linspace(etaLim(1),etaLim(2),epochN);
while epochi < epochN
epochi=epochi + 1;
for i=1:n
y= sign(w'*x(:,i));
w=w + eta(epochi)*(d(i)-y)*x(:,i);
end
yarr = sign(x'*w);
MSE = sum((d-yarr).^2);
MSE = sqrt(MSE/n);
MSEarr = [MSEarr MSE];
if isPlotLine
xx = -10:0.1:10;
yy=-w(2,1) * xx/w(3,1)-w(1,1)/w(3,1);
plot(xx,yy);
end
end
yarr = sign(x'*w);
errN=sum(yarr~=d);
err=errN/n;
figure;plot(MSEarr);title('MSE');
end
3.代码测试
close all;
%产生随机数
n1=1000;n2=1000;n=n1+n2;
[x1,y1,x2,y2]=GenRandomData(8,1,3,n1,n2);
samps=[ones(n1,1),x1, y1;ones(n2,1),x2,y2];
d=[ones(n1,1);-ones(n2,1)];
%打乱顺序
randI=randperm(n);
samps(randI,:)=samps(1:n,:);
d(randI)=d(1:n);
%利用感知机进行训练
w0 = [0;0;0];etaLim = [1e-3 1e-5];x = samps';epochN = 50;
[w, err] = Rosenblatt(x,d,w0,etaLim,epochN)
%画图
figure;
plot(x1,y1,'Marker','x','Color','r','LineStyle','none');
hold on;
plot(x2,y2,'Marker','o','Color','b','LineStyle','none');
xx=[-10:0.1:10];
yy=-w(2,1)*xx/w(3,1)-w(1,1)/w(3,1);
plot(xx,yy,'k');
当两个半圆距离为4时,均方差开始就很小。
当两个半圆距离为0时,均方差震荡了一段时间开始收敛,最后结果有较小的错误率err =5.000000000000000e-04
当两个半圆距离为-4时,均方差一直震荡,最后错误率err=0.195500000000000