文章目录
决策树和随机森林
一、认识决策树
决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法。
比如：你母亲要给你介绍男朋友，是这么来对话的： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。
二、信息论基础-银行贷款分析
银行贷款数据
你如何去划分是否能得到贷款？
决策树的实际划分
g(D,A) = H(D)-H(D|A)
H(D) = -(9/15log9/15 + 6/15log6/15 ) = 0.2922
g(D,年龄) = H(D)-H(D’|年龄) = 0.2922 - [(1/3H|青年) + (1/3H|中年) + (1/3H|老年)]
H(青年) = - (2/5log2/5 + 3/5log3/5) = 0.2923
三、决策树的生成
信息的度量和作用
猜谁是冠军？假设有32支球队
信息的度量和作用
每猜一次给一块钱，告诉我是否猜对了，那么我需要掏多少钱才能知道谁是冠军？我可以
把球编上号，从1到32，然后提问：冠 军在1-16号吗？依次询问，只需要五次，就可以知
道结果
信息论的创始人，香农是密歇根大学学士，麻省理工学院博士。
1948年，香农发表了划时代的论文——通信的数学原理，奠定了
现代信息论的基础
信息的单位：比特
信息熵
“谁是世界杯冠军”的信息量应该比5比特少。香农指出，它的准确信息量应该是：
H = -(p1logp1 + p2logp2 + … + p32log32)
H的专业术语称之为信息熵，单位为比特。
公式：
当这32支球队夺冠的几率相同时，对应的信息熵等于5比特
决策树的划分依据之-信息增益
特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件
下D的信息条件熵H(D|A)之差，即公式为：
信息增益的计算
结合前面的贷款数据来看我们的公式：
信息熵的计算：
条件熵的计算：
常见决策树使用的算法
- ID3
信息增益 最大的准则 - C4.5
信息增益比 最大的准则 - CART
回归树: 平方误差 最小
分类树: 基尼系数 最小的准则 在sklearn中可以选择划分的原则
sklearn决策树API
class sklearn.tree.DecisionTreeClassifier(criterion=‘gini’, max_depth=None,random_state=None)
决策树分类器
criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
max_depth:树的深度大小
random_state:随机数种子
method:
decision_path:返回决策树的路径
四、泰坦尼克号乘客生存分类
1.泰坦尼克号案例
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数
据帧不包含从剧组信息，但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据
的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多
研究人员创建的旅客名单，由Michael A. Findlay编辑。
我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，
船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。
其中age数据存在缺失。
数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt
2.泰坦尼克号乘客生存分类模型
1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取x_train.to_dict(orient=“records”)
4、决策树估计器流程
3.决策树的结构、本地保存
1、sklearn.tree.export_graphviz() 该函数能够导出DOT格式
tree.export_graphviz(estimator,out_file=‘tree.dot’,feature_names=[’’,’’])
2、工具:(能够将dot文件转换为pdf、png)
安装graphviz
ubuntu:sudo apt-get install graphviz
3、运行命令
dot -Tpng tree.dot -o tree.png
'''
1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取x_train.to_dict(orient="records")
4、决策树估计器流程
'''
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier, export_graphviz
def decision():
"""
决策树对泰坦尼克号进行预测
:return: None
"""
# 获取数据
titan = pd.read_csv('titanic.txt')
# print(titan.head())
'''
row.names pclass survived ... ticket boat sex
0 1 1st 1 ... 24160 L221 2 female
1 2 1st 0 ... NaN NaN female
2 3 1st 0 ... NaN (135) male
3 4 1st 0 ... NaN NaN female
4 5 1st 1 ... NaN 11 male'''
# print(titan.info())
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 11 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 row.names 1313 non-null int64
1 pclass 1313 non-null object
2 survived 1313 non-null int64
3 name 1313 non-null object
4 age 633 non-null float64
5 embarked 821 non-null object
6 home.dest 754 non-null object
7 room 77 non-null object
8 ticket 69 non-null object
9 boat 347 non-null object
10 sex 1313 non-null object
dtypes: float64(1), int64(2), object(8)
memory usage: 113.0+ KB
None'''
# 处理数据：找出特征值和目标值
x = titan[['pclass', 'age', 'sex']]
y = titan[['survived']]
# print(x)
'''
pclass age sex
0 1st 29.0000 female
1 1st 2.0000 female
2 1st 30.0000 male
3 1st 25.0000 female
4 1st 0.9167 male
... ... ... ...
1308 3rd NaN male
1309 3rd NaN male
1310 3rd NaN male
1311 3rd NaN female
1312 3rd NaN male
[1313 rows x 3 columns]
'''
# print(y)
'''
survived
0 1
1 0
2 0
3 0
4 1
... ...
1308 0
1309 0
1310 0
1311 0
1312 0
[1313 rows x 1 columns]'''
# 处理缺失值
x['age'].fillna(x['age'].mean(), inplace=True) # 给age的缺失值添加平均值，inplace=True修改它本身
# print(x)
'''
pclass age sex
0 1st 29.000000 female
1 1st 2.000000 female
2 1st 30.000000 male
3 1st 25.000000 female
4 1st 0.916700 male
... ... ... ...
1308 3rd 31.194181 male
1309 3rd 31.194181 male
1310 3rd 31.194181 male
1311 3rd 31.194181 female
1312 3rd 31.194181 male
[1313 rows x 3 columns]
'''
# 分割数据 训练集 测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程处理 特征->类别 -> one_hot编码 0 1 2
dic = DictVectorizer(sparse=False)
x_train = dic.fit_transform(x_train.to_dict(orient='records'))
x_test = dic.fit_transform(x_test.to_dict(orient='records'))
# print(x_train)
'''
[[12. 0. 1. 0. 1. 0. ]
[31.19418104 0. 0. 1. 0. 1. ]
[31.19418104 0. 0. 1. 0. 1. ]
...
[31.19418104 1. 0. 0. 1. 0. ]
[ 9. 0. 0. 1. 0. 1. ]
[30. 0. 1. 0. 1. 0. ]]
'''
# print(dic.get_feature_names())
'''['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']'''
# 用决策树进行预测
dec = DecisionTreeClassifier()
dec.fit(x_train, y_train)
print("预测的准确率", dec.score(x_test, y_test))
'''预测的准确率 0.8206686930091185'''
# 本地保存
export_graphviz(dec, out_file='./tree.dot',feature_names=['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'])
return None
if __name__ == '__main__':
decision()
五、决策树的优缺点以及改进
优点:
> 简单的理解和解释，树木可视化。
> 需要很少的数据准备，其他技术通常需要数据归一化，
缺点:
> 决策树学习者可以创建不能很好地推广数据的过于复杂的树，这被称为过拟合。
> 决策树可能不稳定，因为数据的小变化可能会导致完全不同的树被生成
改进:
> 减枝cart算法
> 随机森林
六、集成学习方法-随机森林
（1）、什么是随机森林
（2）、随机森林的过程、优势
（3）、泰坦尼克号乘客生存分类分析
1.集成学习方法：
集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。
定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
例如, 如果你训练了5个树, 其中有4个树的结果是True, 1个数的结果是False, 那么最终结果会是True.
2.学习算法
根据下列算法而建造每棵树：
1.用N来表示训练用例（样本）的个数，M表示特征数目。
2.输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。
3.从N个训练用例（样本）中以有放回抽样的方式，取样N次，形成一个训练集（即bootstrap取样），并用未抽到的用例（样本）作预测，评估其误差。
为什么要随机抽样训练集？
如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
为什么要有放回地抽样？
如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。
集成学习API
sklearn.ensemble.RandomForestClassifier(n_estimators=10,criterion=‘gini’,max_depth=None, bootstrap=True,random_state=None)
随机森林分类器
n_estimators：integer,optional（default = 10） 森林里的树木数量
criteria:string,可选（default =“gini”）分割特征的测量方法
max_depth：integer或None,可选（默认=无）树的最大深度
bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样
'''
1、pd读取数据
2、选择有影响的特征，处理缺失值
3、进行特征工程，pd转换字典，特征抽取x_train.to_dict(orient="records")
4、决策树估计器流程
'''
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.tree import DecisionTreeClassifier
def decision():
"""
决策树对泰坦尼克号进行预测
:return: None
"""
# 获取数据
titan = pd.read_csv('titanic.txt')
# print(titan.head())
'''
row.names pclass survived ... ticket boat sex
0 1 1st 1 ... 24160 L221 2 female
1 2 1st 0 ... NaN NaN female
2 3 1st 0 ... NaN (135) male
3 4 1st 0 ... NaN NaN female
4 5 1st 1 ... NaN 11 male'''
# print(titan.info())
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 11 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 row.names 1313 non-null int64
1 pclass 1313 non-null object
2 survived 1313 non-null int64
3 name 1313 non-null object
4 age 633 non-null float64
5 embarked 821 non-null object
6 home.dest 754 non-null object
7 room 77 non-null object
8 ticket 69 non-null object
9 boat 347 non-null object
10 sex 1313 non-null object
dtypes: float64(1), int64(2), object(8)
memory usage: 113.0+ KB
None'''
# 处理数据：找出特征值和目标值
x = titan[['pclass', 'age', 'sex']]
y = titan[['survived']]
# print(x)
'''
pclass age sex
0 1st 29.0000 female
1 1st 2.0000 female
2 1st 30.0000 male
3 1st 25.0000 female
4 1st 0.9167 male
... ... ... ...
1308 3rd NaN male
1309 3rd NaN male
1310 3rd NaN male
1311 3rd NaN female
1312 3rd NaN male
[1313 rows x 3 columns]
'''
# print(y)
'''
survived
0 1
1 0
2 0
3 0
4 1
... ...
1308 0
1309 0
1310 0
1311 0
1312 0
[1313 rows x 1 columns]'''
# 处理缺失值
x['age'].fillna(x['age'].mean(), inplace=True) # 给age的缺失值添加平均值，inplace=True修改它本身
# print(x)
'''
pclass age sex
0 1st 29.000000 female
1 1st 2.000000 female
2 1st 30.000000 male
3 1st 25.000000 female
4 1st 0.916700 male
... ... ... ...
1308 3rd 31.194181 male
1309 3rd 31.194181 male
1310 3rd 31.194181 male
1311 3rd 31.194181 female
1312 3rd 31.194181 male
[1313 rows x 3 columns]
'''
# 分割数据 训练集 测试集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程处理 特征->类别 -> one_hot编码 0 1 2
dic = DictVectorizer(sparse=False)
x_train = dic.fit_transform(x_train.to_dict(orient='records'))
x_test = dic.fit_transform(x_test.to_dict(orient='records'))
# print(x_train)
'''
[[12. 0. 1. 0. 1. 0. ]
[31.19418104 0. 0. 1. 0. 1. ]
[31.19418104 0. 0. 1. 0. 1. ]
...
[31.19418104 1. 0. 0. 1. 0. ]
[ 9. 0. 0. 1. 0. 1. ]
[30. 0. 1. 0. 1. 0. ]]
'''
# print(dic.get_feature_names())
'''['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']'''
# # 用决策树进行预测
# dec = DecisionTreeClassifier()
# dec.fit(x_train, y_train)
#
# print("预测的准确率", dec.score(x_test, y_test))
# '''预测的准确率 0.8206686930091185'''
# export_graphviz(dec, out_file='./tree.dot',feature_names=['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male'])
# 用随机森林(超参数的调优)
rf = RandomForestClassifier()
param = {'n_estimators': [120, 200, 300, 500, 800, 1200], 'max_depth': [5, 8, 15, 25, 30]}
gc = GridSearchCV(rf, param_grid=param, cv=2)
gc.fit(x_train, y_train)
print('准确率', gc.score(x_test, y_test)) # 准确率 0.8297872340425532
print("选择的参数模型", gc.best_params_) # 选择的参数模型 {'max_depth': 5, 'n_estimators': 200}
return None
if __name__ == '__main__':
decision()
3.随机森林的优点
1.在当前所有算法中，具有极好的准确率
2.能够有效地运行在大数据集上
3.能够处理具有高维特征的输入样本，而且不需要降维
4.能够评估各个特征在分类问题上的重要性
5.对于缺省值问题也能够获得很好得结果
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
