博客已转移至 https://lmhgithi.github.io/ 内容更全
朴素贝叶斯NB(分类)(生成)
优点
-
稳定的分类效率
-
对小规模数据表现很好,能处理多分类任务,适合增量式训练
-
对缺失数据不太敏感,算法较简单,多用于文本分类
-
如果满足条件独立假设,NB的收敛速度将快于判别模型如LR,所以只需要少量数据,即使NB条件独立假设不独立,仍然表现很出色。
缺点
-
需要计算先验概率
-
分类决策存在错误率
-
对输入数据的表达形式很敏感
-
(不能学习出特征间的相互作用)
逻辑回归(分类)(判别)
伯努利分布
有很多正则化模型的方法L0,L1,L2等
优点
-
实现简单
-
分类时计算量小,速度快,存储资源少
-
便利的观测样本概率分布
问题
可以简单的用L2正则解决多重共线性
缺点
-
特征空间很大时,逻辑回归性能不太好
-
容易欠拟合,一般准确率不会太高
-
不能很好地处理多特征
-
只能处理二分类(softmax可用于多分类),且必须线性可分。
-
对于非线性特征,需要进行转换(如核函数)
如果想处理多分类
-
可以对每个类别都建立一个二分类器,带有这个类别的样本标记1,不带的标记0。
-
softmax回归,即修改LR的损失函数,让其适合多酚类问题,不只考虑1-0的损失,考虑每个样本标记的损失,并且把激活函数替换为softmax函数。
线性回归(回归)(判别)
高斯分布
基本思想是用梯度下降法对最想二乘法形式的误差函数进行优化,也可以用normal
equation直接求解:
LWLR(局部加权线性回归)
优点
- 实现简单,计算简单
缺点
- 不能拟合非线性数据
GBDT梯度提升决策树(回归)
优点
-
可以灵活处理各种类型的数据,包括连续值和离散值。
-
在相对少的调参时间情况下,预测的准确率也可以比较高。这个是相对SVM来说的。
-
使用一些健壮的损失函数,对异常值的鲁棒性非常强。比如
Huber损失函数和Quantile损失函数。
缺点:
- 由于弱学习器之间存在依赖关系,难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。
决策树(分类、回归)(判别)
Id3、c4.5、cart
信息增益: g ( D , A ) = H ( D