机器学习算法(四) 朴素贝叶斯

线性分类：

硬分类，直接输出观测对应的分类。

    线性判别分析

    感知机

软分类，通过概率得到，

    概率生成（注重不同特征之间的关系）：高斯判别分析和朴素贝叶斯

    概率判别（注重特征和标签的关系）：Logistic 回归

 

思想：朴素贝叶斯假设(目的：简化运算)

条件独立性假设

简单的概率图(有向图)模型

 

给定x, 求y ? 0|1

P(y)

二分类：y~伯努利分布

多分类：y~categorial 分布

如果x离散，xi一般是categorial 分布

如果x连续，一般会假设xi满足正态分布.

如果要计算结果，使用MLE估计。

 

一次实验两个选择，伯努利分布。n次二项分布。

一次实验多个选择，categorial 分布。n次多项式分布。