图解机器学习第三部分第十章——使用概率梯度下降法的Logistic回归学习

n = 90;
c = 3;
y=ones(n/c,1)*[1:c];
y=y(:); % 将它变为 90 × 1 的矩阵
x=randn(n/c,c)+repmat(linspace(-3,3,c),n/c,1); % -3 0 3 的正态分布
x = x(:);  % 将它变为 90 × 1 的矩阵

%概率梯度下降法
hh = 2*1^2; %带宽为 1
t0 = randn(n,c); % 随机化参数 给参数一个适当的值
for o=1:n*1000
    i=ceil(rand*n);%
    yi=y(i);
    ki=exp(-(x-x(i)).^2/hh);
    ci=exp(ki'*t0);
    t = t0-0.1*(ki*ci)/(1+sum(ci)); % 计算梯度
    t(:,yi)=t(:,yi)+0.1*ki; %跟新参数
    if norm(t-t0)<0.00001,break,end
    t0=t;
end

N=100;
X=linspace(-5,5,N)';
K=exp(-(repmat(X.^2,1,n)+repmat(x.^2',N,1)-2*X*x')/hh);
figure(1);
clf;
hold on;
axis([-5 5 -0.3 1.8]);
C=exp(K*t); % ？
C=C./repmat(sum(C,2),1,c);% ？
plot(X,C(:,1),'b-');
plot(X,C(:,2),'r--');
plot(X,C(:,3),'g:');
plot(x(y==1),-0.1*ones(n/c,1),'bo');
plot(x(y==2),-0.2*ones(n/c,1),'rx');
plot(x(y==3),-0.1*ones(n/c,1),'gv');
legend('q(y=1|x)','q(y=2|x)','q(y=3|x)')