贝叶斯算法

机器学习算法完整版见fenghaootong-github

贝叶斯（Bayesian Techniques）

• 朴素贝叶斯
• 高斯贝叶斯分类器
• 多项式贝叶斯分类器
• 伯努利贝叶斯分类器

贝叶斯定理：

$P(B_i|A) = \frac{P(A|B_i)P(B)}{\sum_{j=1}^{n}P(A|B_i)P(B_j)}$

朴素贝叶斯方法

原理：

• 先验概率分布：$P(Y=c_k),k=1,2,...,K.$
• 条件概率分布：$P(X=\vec{x}|Y=c_k)=P(X^{1}=x^{1},X^{2}=x^{2},...,X^{n}=x^{n}|Y=c_k)=\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k),k=1,2,...,K$

根据贝叶斯定理：

$P(Y=c_k|X=\vec{x})=\frac{P(X=\vec{x}|Y=c_k)P(Y=c_k)}{\sum_{j=1}^{K}P(X=\vec{x}|Y=c_j)P(Y=c_j)}$

考虑分类特征的条件独立性假设有：

$P(Y=c_k|X=\vec{x})=\frac{P(Y=c_k)\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k)}{\sum_{j=1}^{K}P(X=\vec{x}|Y=c_j)P(Y=c_j)},k=1,2,...,K$

于是朴素贝叶斯分类器表示为：

$y = f(\vec{x}) = arg \max \limits_{c_k} \frac{P(Y=c_k)\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k)}{\sum_{j=1}^{K}P(X=\vec{x}|Y=c_j)P(Y=c_j)}$

对于所有的$c_k$，上面的分母一样，所以：

$y = f(\vec{x}) = arg \max \limits_{c_k} P(Y=c_k)\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k)$

朴素贝叶斯算法

输入：

• 训练集T=${(\vec{x_1},y_1),(\vec{x_2},y_2),...,(\vec{x_N},y_N)}, \vec{x_i} = (x_i^{(1)},x_i^{(2)},...,x_i^{(n)})^T, x_i^{(j)}$为第i个样本的第j个特征，其中$x_i^{(j)}\in {a_{j1},a_{j2},...,a_{js_j}}, a_{jl}$为第j个特征可能取到的第l个值

算法步骤

• 计算先验概率的估计值以及条件概率的估计值

$P(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i = c_k)}{N}, k=1,2,...,K$
$P(X^{(j)}=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i = c_k)}{\sum_{i=1}^{N}I(y_i = c_k)}$
$j = 1,2,...,n; l = 1,2,...,s_j; k = 1,2,...,K$

• 对于给定的实例$\vec{x} = (x^{(1)},x^{(2)},...,x^{(n)} )^T$,计算

$P(Y=c_k)\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k),k=1,2,...,K$

• 计算给并返回实例$\vec{x}$的分类y：

$y = f(\vec{x}) = arg \max \limits_{c_k} P(Y=c_k)\Pi_{j=1}^{n} P(X^{i}=x^{i}|Y=c_k)$

贝叶斯估计

条件概率$P(X^{(j)}=a_{jl}|Y=c_k)$的极大似然估计：

$P(X^{(j)}=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i = c_k)}{\sum_{i=1}^{N}I(y_i = c_k)}$
$j = 1,2,...,n;$
$l = 1,2,...,s_j;$
$k = 1,2,...,K$

用极大似然估计可能会出现分母为零的情况，此时可以采用贝叶斯估计：

$P(X^{(j)}=a_{jl}|Y=c_k) = \frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i = c_k) + \lambda}{\sum_{i=1}^{N}I(y_i = c_k)+s_j\lambda}$
$j = 1,2,...,n;$
$l = 1,2,...,s_j;$
$k = 1,2,...,K$

它满足概率分布函数的条件：

$P_{\lambda}(X^{(j)}=a_{jl}|Y=c_k) > 0, l=1,2,...,s_j; k=1,2,...,K$
$\sum_{l=1}^{s_j}P_{\lambda}(X^{(j)}=a_{jl}|Y=c_k)=1$

此时$P(Y=c_k)$的贝叶斯估计调整为：

$P_{\lambda}(Y=c_k) = \frac{\sum_{i=1}^{N}I(y_i = c_k)+\lambda}{N+K\lambda}$

当$\lambda=0$时，为极大似然估计
当$\lambda=1$时，为拉普拉斯平滑

高斯贝叶斯分类器

它假设特征的条件概率分布满足高斯分布：

$P(X^{(j)}|y=c_k) = \frac{1}{\sqrt{2\pi\sigma_k^2}}exp(-\frac{(X^{(j)}-\mu_k)^2}{2\sigma_k^2})$

多项式贝叶斯分类器

它假设特征的条件概率分布满足多项式分布：

$P(X^{(j)}|y=c_k) = \frac{N_{kj}+\alpha}{N_k + \alpha n}$

伯努利贝叶斯分类器

它假设特征的条件概率分布满足伯努利分布：

$P(X^{(j)}|y=c_k) = pX^{(j)} + (1-p)(1-X^{(j)})$

Bayes应用实例

Bayes应用实例
垃圾邮件处理