贝叶斯与逻辑回归

首先回顾一下贝叶斯和逻辑回归

贝叶斯

$$\prod _{i=1}^{n}p(x_i|y=1)p(y=1)-\prod _{i=1}^{n}p(x_i|y=0)p(y=0)>0$$
满足上述表达式的样本$x\in R^n$ 为正样本，否则的话为负样本

逻辑回归

$$\sum _{i=1}^n{w}_i{x}_i-w_0>0$$
满足上述表达式的样本为正样本，否则的话为负样本
下面的题满足的前提条件为：
$y$ ~ $Bernouuli(\varphi )$
$x|y=0$~$N({\mu }_0,{\sigma }_0^2)$
$x|y=1$~$N({\mu }_1,{\sigma }_1^2)$

question 1

${\sigma }_0={\sigma }_1$
正样本可以表达为：
${\sum }_{i=1}^n[lnp(x_i|y=1)-lnp(x_i|y=0)]>lnp(y=0)-lnp(y=1)$
=>
${\sum }_{i=1}^n[-(x_i-{\mu }_1{)}^2/(2{\sigma }_1^2)-ln((2\Pi {)}^{0.5}{\sigma }_1)]+(x_i-{\mu }_0{)}^2/(2{\sigma }_0^2)+ln((2\Pi {)}^{0.5}{\sigma }_0)]>lnp(y=0)-ln(y=1)$
=>
${\sum }_{i=1}^n({\mu }_1/{\sigma }_1^2-{\mu }_0/{\sigma }_0^2)x_i>lnp(y=0)-lnp(y=1)+{\sum }_{i=1}^n({\mu }_1^2/{\sigma }_1-{\mu }_0^2/{\sigma }_0)$

在问题一的条件下，连续特征的朴素贝叶斯分类起可以写作是特征值的线形加权组合，所以可以看作是本质上的逻辑回归分类器。

question 2

正样本可以表达为：
${\sum }_{i=1}^n[lnp(x_i|y=1)-lnp(x_i|y=0)]>lnp(y=0)-lnp(y=1)$
=>
${\sum }_{i=1}^n[-(x_i-{\mu }_1{)}^2/(2{\sigma }_1^2)-ln((2\Pi {)}^{0.5}{\sigma }_1)]+(x_i-{\mu }_0{)}^2/(2{\sigma }_0^2)+ln((2\Pi {)}^{0.5}{\sigma }_0)]>lnp(y=0)-ln(y=1)$
=>
${\sum }_{i=1}^2[(1/2{\sigma }_0^2-1/2{\sigma }_1^2)x_i^2+({\mu }_1/{\sigma }_1^2-{\mu }_0/{\sigma }_0^2)x_i]>lnp(y=0)-lnp(y=1)+{\sum }_{i=1}^n(ln(\sqrt{2\Pi }{\sigma }_1)-ln(\sqrt{2\Pi }{\sigma }_0)+{\sum }_{i=1}^n({\mu }_1^2/{\sigma }_1-{\mu }_0^2/{\sigma }_{)})$
上面表示，在${\sigma }_{i,0}!=\sigma i,1$时,连续特征的朴素贝叶斯分类判别公式不能写成特征值的线形加权组合（与$x_i^2$有关），所以不能够说是逻辑回归，

question 3

负样本可以表达为：
${\prod }_{i=1,j=2,i!=j}^{n}p(x_i,x_j|y=0)p(y=0)-{\prod }_{i=1,j=2,i!=j}^{n}p(x_i,x_j|y=1)p(y=1)>0$
=>
${\sum }_{i=1,j=2,i!=j}^{n}lnp(x_i,x_j|y=0)-{\sum }_{i=1,j=1,i!=j}^{n}lnp(x_i,x_j|y=1)>lnp(y=1)-lnp(y=0)$
=>
${\sum }_{i=1,j=2,i!=j}^n\sigma 1^2[{\mu }_{20}^2-{\mu }_{21}^2+2x_2({\mu }_{21}-{\mu }_{20})]+{\sigma }_2^2[{\mu }_{10}^2]-{\mu }_{11}^2+2x_1({\mu }_{11}-{\mu }_{10})+2\rho {\sigma }_1{\sigma }_2[({\mu }_{20}-{\mu }_{21})x_1+({\mu }_{10}-{\mu }_{11})x_2+{\mu }_{11}{\mu }_{21}-{\mu }_{10}{\mu }_{20}]/2(1-{\rho }^2){\sigma }_1^2{\sigma }_2^2>lnp(y=1)-lnp(y=0)$
=>
由上述的表示可以看出，非朴素的贝叶斯分类器可以简单的看作是逻辑回归

Conclude

在推导逻辑回归的时候，我们并没有假设类内样本是服从高斯分布的，因而GDA只是逻辑回归的一个特例，其建立在更强的假设条。故两者效果比较：
a.逻辑回归是基于弱假设推导的，则其效果更稳定，适用范围更广
b.数据服从高斯分布时，GDA效果更好
c.当训练样本数很大时，根据中心极限定理，数据将无限逼近于高斯分布，则此时GDA的表现效果会非常好