python分类算法_分类算法 - python挖掘 - 博客园

持续学习完善中~

分类模型的构造方法有：决策树，关联规则，贝叶斯，神经网络，规则学习，k－临近法，遗传算法，粗糙集以及模糊逻辑技术。

朴素贝叶斯

利用概率统计知识进行分类的算法

最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)

前提是各属性之间互相独立

逻辑回归

决策树SVM

随机森林

利用多棵树对样本进行训练并预测的一种分类器，包含多个决策树的分类器， 其输出的类别是由个别树输出的类别的众数而定

构建随机森林有两个方面：数据的随机性选取，以及待选特征的随机选取

首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。

与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能

参考资料：百度百科