朴素贝叶斯法（naive bayes）逻辑回归（logistic regression）线性回归

朴素贝叶斯法实际上学习到生成数据的机制，所以属于生成模型。条件独立假设等于是说用于分类的特征在类确定的条件下都是条件独立的，但是有的时候会失去一些分类准确性。

对于给定的输入x，通过学习到的模型计算后验概率分布，将后验概率最大的类作为x的类输出

主要是使用贝叶斯公式推导的过程。在训练过程中可以得到先验概率P(X=x|Y=Ck),和P(Y= Ck)

 逻辑回归：基于sigmoid函数，比较概率，x分到概率较大的那一类。

当维度很大的时候，分类器的分类能力会下降。带来过拟合，防止过拟合的方法就是交叉验证。降低维度的方法就是PCA.

逻辑回归优点：实现简单，计算量小，速度快，但是只能处理两分类问题，容易欠拟合（适用于线性可分）

线性回归：给定训练集或者训练数据，输出是线性拟合的函数。每个特征变量映射到一个函数h(x)然后再参与线性计算。

 对h(x)进行评估的损失函数J(),.

线性回归和逻辑回归的不同：

线性回归用于预测，逻辑回归用于分类

线性回归   y(i) 未知，逻辑回归y（i）非0即1

线性回归 最小二乘法（计算误差）   逻辑回归 最大似然估计（计算可能性）