malab实现，参数估计的梯度下降法

1.公式推导

naïve贝叶斯可以获得函数的后验概率：

则：
且：
此式大于0时，此时P（Y=0|X）>P（Y=1|X），获得线性划分：
最大条件似然是求使：
出现最大值的情况（即W的取值）。
先对该式进行对数运算：

经过化简，获得：

对W中所有元素求偏导：

获得梯度下降需要的表达式：

将其转换为矩阵更新运算：
W=W+ηX(Y-hY)

2.具体matlab实现

x=[1,2,3,4,5,6,7,8,9,10,11,12;
   12,3,2,4,9,10,1,2,7,1,5,6];%two features
y=[1,0,0,0,1,1,0,0,1,0,1,1];%12 points
m=length(x(:,1));
n=length(x(1,:));
rx = x+ normrnd(0,2,m,n);%add noise
RX= ones(m+1,n);
for i=1:m
    RX(i+1,:)=rx(i,:);
end%Initialize
a=0.01;%Step length
s=ones(m+1,1);
s=s+0.3*sqrt(0.5)*randn(size(s));%Initialize W
hy=ones(n,1);
num=1;
l=s'*RX*y'-sum(log(1+exp(s'*RX))); %所求的最大表达式l(W)
rs=1;
while(rs>0.0001||rs<0)
    for i=1:n
       hy(i)=1-1/(1+exp(s(1)+s(2)*x(1,i)+s(3)*x(2,i)));%get hy
    end
    s=s+a.*RX*(y'-hy);%Matrix operations 
    ol=l;
    l=s'*RX*y'-sum(log(1+exp(s'*RX)));
    rs=l-ol;
    if(rs<0)
        a=a/2;
    end;
    num=num+1;
end
for i=1:n%Draw point
    if(y(i)==1)
        plot(rx(1,i),rx(2,i),'ro');
        hold on;
    else
        plot(rx(1,i),rx(2,i),'go');
        hold on;
    end
end
ss=ones(1,2);
ss(1)=-s(2)/s(3);
ss(2)=-s(1)/s(3);
xx = -10:0.1:20;
yy=polyval(ss,xx);
plot(xx,yy);%Linear classification 
hold on;

3.线性划分与数据点：