最近在学习用python数据分析,不可避免的接触到了机器学习的一些算法,所以在这里简单整理一些学习的笔记和心得与大家分享!
首先机器学习分为:监督学习和非监督学习,前者有参照物,后者为参照物;主要分为回归预测、分类预测、聚类等。
今天要学习的是监督学习中的决策树算法!决策树既可以用于回归也可用来分类,是较常用的模型之一。
下面直接说下用python实现决策树的数据分析
数据源:泰坦尼克号旅客信息(训练数据:特征信息和是否存货;测试数据:特征信息)
具体特征字段:
我们直接使用python中自带的sklearn 中自带的决策树分类器 DecisionTreeClassifier
clf = DecisionTreeClassifier(criterion='entropy')
sklearn 中只实现了 ID3 与 CART 决策树,在构造 DecisionTreeClassifier 类时,其中有一个参数是 criterion,意为标准。
它决定了构造的分类树是采用 ID3 分类树,还是 CART 分类树,对应的取值分别是 entropy 或者 gini
entropy: 基于信息熵,也就是 ID3 算法,实际结果与 C4.5 相差不大;
gini:默认参数,