持续学习完善中~
分类模型的构造方法有:决策树,关联规则,贝叶斯,神经网络,规则学习,k-临近法,遗传算法,粗糙集以及模糊逻辑技术。
朴素贝叶斯
利用概率统计知识进行分类的算法
最大化后验概率P(Ci|X)可转化为最大化先验概率P(X|Ci)P(Ci)
前提是各属性之间互相独立
逻辑回归
决策树SVM
随机森林
利用多棵树对样本进行训练并预测的一种分类器,包含多个决策树的分类器, 其输出的类别是由个别树输出的类别的众数而定
构建随机森林有两个方面:数据的随机性选取,以及待选特征的随机选取
首先,从原始的数据集中采取有放回的抽样,构造子数据集,子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复,同一个子数据集中的元素也可以重复。第二,利用子数据集来构建子决策树,将这个数据放到每个子决策树中,每个子决策树输出一个结果。最后,如果有了新的数据需要通过随机森林得到分类结果,就可以通过对子决策树的判断结果的投票,得到随机森林的输出结果了。
与数据集的随机选取类似,随机森林中的子树的每一个分裂过程并未用到所有的待选特征,而是从所有的待选特征中随机选取一定的特征,之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同,提升系统的多样性,从而提升分类性能
参考资料:百度百科