吴恩达机器学习之朴素贝叶斯

判别学习算法与生成学习算法

1. 判别学习算法直接学习$p(y\mid x)$或者$h_\theta(x)$
2. 生成学习算法通过对类条件概率$p(x\mid y)$建模，得到后验概率$p(y\mid x)$

高斯判别分析

1. 假设$y\in Bernoulli(\phi)$，即$p(y=1\mid x)=\phi)$
2. 假设$p(x\mid y=0)\in N(\mu_0,\sum)$，$p(x\mid y=1)\in N(\mu_1,\sum)$
   根据贝叶斯公式有：$p(y\mid x)=\frac{p(x\mid y)p(y)}{p(x)}$，由于p(x)对每一个样本都是一样的
   所以：$y=arg \max_y\frac{p(x\mid y)p(y)}{p(x)}=arg \max_yp(x\mid y)p(y)$

(联合概率分布)极大似然法求参数

$\psi(\phi,\mu_0,\mu_1,\sum)=\log\prod_{i=1}^mp(x^i,y^i)$
$=\log\prod_{i=1}^mp(x^i\mid y^i)p(y^i)$
$=\log\prod_{i=1}^m(p(x^i\mid y^i=1)^{y^i}p(x^i\mid y^i=0)^{1-y^i})+\log(p(y^i))$
$\sum_{i=1}^m(y^i\log p(x^i\mid y^i=1)+(1-y^i)\log p(x^i\mid y^i=0))+\log p(y^i)$
$\sum_{i=1}^my^i\log p(x^i\mid y^i=1)+\sum_{i=1}^m(1-y^i)\log p(x^i\mid y^i=0)+\log p(y^i)$
用极大似然法求最大值，那么需要求似然函数对各个参数的偏导数，具体的推导过程可以参考下面这篇文章，我只给出最终答案。https://www.cnblogs.com/jcchen1987/p/4424436.html
代码实现可以参考下面这篇文章http://m.blog.csdn.net/sjtuai/article/details/75375578
$\mu_0=\frac{\sum_{i=1}^mI(y^i=0)x^i}{\sum_{i=1}^mI(y^i=0)}$，$\mu_1=\frac{\sum_{i=1}^mI(y^i=1)x^i}{\sum_{i=1}^mI(y^i=1)}$
$\phi=\frac{\sum_{i=1}^mI(y^i=1)}{\sum_{i=1}^m(I(y^i=1)+I(y^i=0))}=\frac{\sum_{i=1}^mI(y^i=1)}{m}$
$\sum=\frac{1}{m}\sum_{i=1}^m(x^i-\mu_{y_i})(x^i-\mu_{y_i})^T$

优缺点

1. $p(x\mid y)$服从高斯分布时，$p(y=1\mid x)$是logistic函数
2. $p(x\mid y)$服从泊松分布时，$p(y=1\mid x)$是logistic函数
3. $p(x\mid y)$服从指数分布时，$p(y=1\mid x)$是logistic函数
   具体求解过程参考下面这篇文章http://m.blog.csdn.net/sjtuai/article/details/75375578

拉普拉斯平滑

$p(y=1\mid x)=\frac{\sum_{i=1}^mI(y^i=1)}{\sum_{i=1}^m(I(y^i=1)+I(y^i=0))}=\frac{\sum_{i=1}^mI(y^i=1)}{\sum_{i=1}^m(I(y^i=1)+I(y^i=0))}$，经过拉普拉斯修正后，变成：
$p(y=1)=\frac{\sum_{i=1}^mI(y^i=1)+1}{\sum_{i=1}^m(I(y^i=1)+I(y^i=0))+k}$，其中$k$是分类类别数
类的条件概率$p(x\mid y)$的计算公式如下：$p(x_i\mid y)=\frac{D_{c,x_i}}{Dc}$
经过修正后：
$p(x_i\mid y)=\frac{D_{c,x_i}+1}{Dc+N_i}$，其中$N_i$是$d_i$属性可能取值的数目