五分钟学会贝叶斯分类器

前置知识：

最大似然估计

已经知道了概率模型，不知道参数，求出这个模型参数就叫做最大似然估计。

例子：一个箱子里有白球和黑球，每取一次都放回，十次的结果是黑5白5

我们就推断 白球的概率0.5，黑球的概率0.5

这就是最大似然估计

利用已知的样本，找出最有可能生成该样本的参数。

贝叶斯分类器

判别是否属于某一类别，先来看一个例子：

（上面这个例子已经写得很好了）

通过这个例子，我们已经会进行基本都分类操作。

但是也存在一个问题，某些特征在样本空间里的值为0，因此我们进行拉普拉斯平滑来避免这种情况！

平滑的技巧：分子+1，分母+类别数

最小错误概率贝叶斯决策

最大后验概率判决准则使决策的错误率最小。最大后验概率判决准则的一个优良性质就是使平均错误概率达到最小。 因此, 最大后验概率判决准则又称为最小错误概率判决准则。

也就是说，求取p(类别/特征)《代表在该特征下属于这一类的概率

 最小风险贝叶斯决策

对于最小错误贝叶斯决策，也可能出现错误，我们要考虑出现错误的后果，举例

属于1类的概率为0.9，2类的概率为0.1

但1类分错误会有10000的损失，2类分错会有1的损失

so....考虑到损失，我们应该把他分到2类中（她可以输无数次，但你只能输一次！这种事情就别做啦，赌不起）

这就是最小风险贝叶斯决策

一个详细的例子