本文是《Python机器学习及实践》第2章的笔记，主要介绍了决策树模型。首先，通过对比逻辑斯蒂回归和支持向量机，阐述了决策树在处理非线性关系问题的优势。接着，以泰坦尼克号乘客数据为例，详细描述了数据背景和特征，展示了数据预处理的过程。最后，通过训练和评估，得出决策树模型在预测乘客生死上的准确率为78.12%，并强调了其易于理解和可视化的优点。
目录
2.1.1.5决策树
1、模型介绍
逻辑斯蒂回归和支持向量机模型，都在某种程度上要求被学习的数据特征和目标之间遵照线性假设。然而，在许多现实场景下，这种假设是不存在的。
比如，如果要借由一个人的年龄来预测患流感的死亡率。如果采用线性模型假设，那么只有两种情况：年龄越大死亡率越高；或者年龄越小死亡率越高。然而，根据常识判断，青壮年因为更加健全的免疫系统，相较于儿童和老年人不容易因患流感死亡。因此，年龄与因流感而死亡之间不存在线性关系。如果要用数学表达式描述这种非线性关系，使用分段函数最为合理；而在机器学习模型中，决策树是描述这种非线性关系的不二之选。
再比如，信用卡申请的审核涉及申请人的多项特征，也是典型的决策树模型。正如图2-7所示：决策树节点代表数据特征，如年龄、身份是否是学生、信用评级等；每个节点下的分支代表对应特征值的分类，如年龄包括年轻人、中年人以及老年人，身份区分是否是学生，等等；而决策树的所有叶子节点则显示模型的决策结果。对于是否通过信用卡申请而言，这是二分类决策任务，因此只有yes和no两种分类结果。
这类使用多种不同特征组合搭建多层决策树的情况，模型在学习的时候就需要考虑特征节点的选取顺序。常用的度量方式包括信息熵（Information Gain）和基尼不纯性（Gini Impurity）。
2、数据描述
（1）泰坦尼克号乘客数据背景
虽然很难获取到信用卡公司客户的资料，但是也有类似借助客户档案进行二分类的任务。使用的数据来自于历史上一件家喻户晓的灾难性事件：泰坦尼克号沉船事故。1912年，当时隶属于英国的世界级豪华客轮泰坦尼克号，因在处女航行中不幸撞上北大西洋冰山而沉没。这场事故使得1500多名乘客罹难。后来，这场震惊世界的惨剧被详细地调查，而且遇难乘客的信息也逐渐被披露。在当时的救援条件下，无法在短时间内确认每位乘客生还的可能性。而今，许多科学家试图通过计算机模拟和分析找出潜藏在数据背后的生还逻辑。
（2）泰坦尼克号乘客数据查验
# 代码29：泰坦尼克号乘客数据查验
# 导入pandas用于数据分析。
import pandas as pd
# 利用pandas的read_csv模块收集泰坦尼克号乘客数据。
titanic = pd.read_csv('../Datasets/titanic.csv')
# 观察前几行数据，可以发现，数据种类各异，数值型、类别型，甚至还有缺失数据。
titanic.head()
print(titanic.head())
# 使用pandas，数据都转入pandas独有的dataframe格式（二维数据表格），直接使用info()，查看数据的统计特性。
titanic.info()备注：原来直接从互联网（http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt）收集数据，加载太慢；故从互联网下载数据，保存为.csv格式文件。
本地输出：
row.names pclass survived ... ticket boat sex
0 1 1st 1 ... 24160 L221 2 female
1 2 1st 0 ... NaN NaN female
2 3 1st 0 ... NaN (135) male
3 4 1st 0 ... NaN NaN female
4 5 1st 1 ... NaN 11 male
[5 rows x 11 columns]
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 11 columns):
row.names 1313 non-null int64
pclass 1313 non-null object
survived 1313 non-null int64
name 1313 non-null object
age 633 non-null float64
embarked 821 non-null object
home.dest 754 non-null object
room 77 non-null object
ticket 69 non-null object
boat 347 non-null object
sex 1313 non-null object
dtypes: float64(1), int64(2), object(8)
memory usage: 113.0+ KB结论：该数据共有1313条乘客信息，并且有些特征数据是完整的（如pclass、name），有些则是缺失的；有些是数值类型的，有些则是字符串。
3、编程实践
比起之前使用过的数据样例，这次的数据年代更加久远，难免会有信息丢失和不完整；甚至，许多数据特征还没有量化。因此，在使用决策树模型进行训练学习之前，需要对数据做一些预处理和分析工作。
# 代码30：使用决策树模型预测泰坦尼克号乘客的生还情况
# 机器学习有一个不太被初学者重视并且耗时，但是十分重要的一环——特征的选择，这个需要基于一些背景知识。根据我们对这场事故的了解，sex，age，pclass这些特征都很有可能是决定幸免与否的关键因素。
X = titanic[['pclass', 'age', 'sex']]
y = titanic['survived']
# 对当前选择的特征进行探查。
X.info()
# 借由上面的输出，我们设计如下几个数据处理的任务：
# 1）age这个数据列，只有633个，需要补完。
# 2）sex与pclass两个数据列的值都是类别型的，需要转化为数值特征，用0/1代替。
# 首先我们补充age里的数据，使用平均数或者中位数都是对模型偏离造成最小影响的策略。
X['age'].fillna(X['age'].mean(), inplace=True)
# 对补完的数据重新探查。
X.info()
# 由此得知，age特征得到了补完。
# 数据分割。
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=33)
# 使用scikit-learn.feature_extraction中的特征转换器，详见3.1.1.1 特征抽取。
from sklearn.feature_extraction import DictVectorizer
vec = DictVectorizer(sparse=False)
# 转换特征后，我们发现凡是类别型的特征都单独剥离出来，独成一列特征，数值型的则保持不变。
X_train = vec.fit_transform(X_train.to_dict(orient='record'))
print(vec.feature_names_)
# 同样需要对测试数据的特征进行转换。
X_test = vec.transform(X_test.to_dict(orient='record'))
# 从sklearn.tree中导入决策树分类器。
from sklearn.tree import DecisionTreeClassifier
# 使用默认配置初始化决策树分类器。
dtc = DecisionTreeClassifier()
# 使用分割到的训练数据进行模型学习。
dtc.fit(X_train, y_train)
# 用训练好的决策树模型对测试特征数据进行预测。
y_predict = dtc.predict(X_test)备注：原来的导入模型from sklearn.cross_validation import train_test_split的时候，提示错误：
from sklearn.cross_validation import train_test_split
ModuleNotFoundError: No module named 'sklearn.cross_validation'需要替换cross_validation：
from sklearn.model_selection import train_test_split本地输出：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 3 columns):
pclass 1313 non-null object
age 633 non-null float64
sex 1313 non-null object
dtypes: float64(1), object(2)
memory usage: 30.9+ KB
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 3 columns):
pclass 1313 non-null object
age 1313 non-null float64
sex 1313 non-null object
dtypes: float64(1), object(2)
memory usage: 30.9+ KB
['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
4、性能测评
使用同样用于分类任务的多种性能测评指标，对乘客是否生还的预测结果进行评价。
# 代码31：决策树模型对泰坦尼克号乘客是否生还的预测性能
# 从sklearn.metrics导入classification_report。
from sklearn.metrics import classification_report
# 输出预测准确性。
print(dtc.score(X_test, y_test))
# 输出更加详细的分类性能。
print(classification_report(y_predict, y_test, target_names=['died', 'survived']))本地输出：
0.7811550151975684
precision recall f1-score support
died 0.91 0.78 0.84 236
survived 0.58 0.80 0.67 93
accuracy 0.78 329
macro avg 0.74 0.79 0.75 329
weighted avg 0.81 0.78 0.79 329结论：决策树模型总体在测试集上的预测准确性约为78.12%。详细的性能指标进一步说明，该模型在预测遇难者方面性能较好；却需要在识别生还者的精确率方面下功夫。
5、特点分析
相比于其他学习模型，决策树在模型描述上有着巨大的优势。决策树的推断逻辑非常直观，具有清晰的可解释性，也方便了模型的可视化。这些特性同时也保证在使用决策树模型时，是无须考虑对数据的量化甚至标准化的。并且，与K近邻模型不同，决策树仍然属于有参数模型，需要花费更多的时间在训练数据上。
扫一扫
1127
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
