机器学习 之 朴素贝叶斯与生成，判别模型，回归与分类

朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。就是那个朴素贝叶斯啊！各个性状(属性)相互独立，例如帅，有钱。。。
贝叶斯公式完全体：
$$P(B_i|A)=\frac{P(A|B_i)P(B_i)}{{\sum }_{j=1}^{n}P(A|B_j)P(B_j)}$$

朴素贝叶斯（Naive Bayes，NB）是基于“特征之间是独立的”这一朴素假设，应用贝叶斯定理的监督学习算法，是一种分类算法；
样本一般是一个向量，例如[身高，体重…]，让你判断是男的是女的，可以这样实现：
$$P(y|x_1,x_2,...x_k)=\frac{P(y)P(x_1,x_2,...x_k|y)}{P(x_1,x_2,...x_k)}$$
首先呢，求出这个结果(在这个特征下，是女人的概率)，你需要数据集中女人的概率，这个数据集下，女人是这个特征的条件概率(数据集很大，绝对正常的)，和这个特征占数据集中所有特征的概率，这样一组合，就得出了这个结果，然后计算这个特征是男人的概率，的出来的几个概率取最大的那个，就是这个分类了，这就是贝叶斯分类方法。

朴素贝叶斯呢，在求解各个参数概率是用最大似然(样本均值估计期望)，整体用后验(说白了就是条件概率，后验是贝叶斯的一种，贝叶斯就是条件概率)。核心就是估计类先验概率和各属性的类条件概率(总和就是后验概率)。因为甭管分子还是分母，都是最大似然(样本均值估计期望)出来的。

每日小常识：

判别模型(一个模型生出所有)与生成模型(多个模型生成各自的)

对于判别式模型来说求得$P(Y|X)$，线性回归模型、支持向量机SVM等都是判别式模型，这些模型的特点都是输入x可以直接得到y(或者说是归于哪一个Y的概率，一个模型，得出属于各个Y的概率，最大的获胜)。

而生成式模型求得P(Y,X)，机器学习中逻辑回归模型，朴素贝叶斯模型、隐马尔可夫模型HMM等都是生成式模型，对于输入X，需要求出好几个联合概率，然后较大的那个就是预测结果(多个模型，每个模型只输出一个结果，最大的获胜)。

判别式模型举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型(超平面模型)，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。

生成式模型举例：用生成模型的方法是
根据山羊的特征首先学习出一个山羊的模型，
然后根据绵羊的特征学习出一个绵羊的模型，
然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。

回归模型是连续的
分类模型是离散的
回归问题与分类问题本质上都是要建立映射关系，回归与分类的根本区别在于输出空间是否为一个度量空间。回归得出的值是可以用均值方差评价的，而分类只能得出是非，没有度量评价。

特性	分类	回归
输出类型	离散数据	连续数据
目的	寻找决策边界	找到最优拟合
评价方法	精度(accuracy)、混淆矩阵等	SSE(均方误差sum of square errors)或拟合优度

并不能直白地说出根本区别，而是在各个方面都有区别。