机器学习（10）随机森林（预测泰坦尼克号旅客存活率）

目录

一、基础理论

1、集成学习方法

2、随机森林

API

二、过程

1、创建随机森林预估器

2、参数准备（网格搜索） 

3、训练

模型评估结果： 

总代码

---

一、基础理论

1、集成学习方法

集成学习通过建立几个模型组合的来解决单一预测问题。

工作原理：生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成组合预测，因此优于任何一个单分类的做出预测。

2、随机森林

 随机森林是一个包含多个决策树的分类器，输出类别由个别树输出类别的众数决定。

应用场景：高维度、大数据。

例：

如果训练了五棵树，有四棵树的结果是True，一棵树的结果是False，那么最终结果就是True。

随机：1、训练集随机；2、特征随机

森林：多个决策树。

API

from sklearn.ensemble import RandomForestClassifier

 

二、过程

读取数据、数据处理、特征工程和前面的一样。不同的是预估器的创建，用上随机森林。

# 1、读取数据
data = pd.read_csv('titanic.csv')
# print(data)

# 2、设置特征值和目标值
train = data[['pclass', 'age', 'room', 'sex']]
test = list(data['survived'])

# 3、数据处理
# 3-1、缺失值处理
train['age'].fillna(train['age'].mean(), inplace=True)
train['room'].fillna(train['room'][0], inplace=True)

# 3-2、特征值转换为字典
train = train.to_dict(orient='records')

# 3-3、划分数据集
train_data, test_data, train_target, test_target = train_test_split(train, test)
# print(train_data)

# 4、特征工程（字典特征值提取）
transfer = DictVectorizer()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)
# print(train_data)

1、创建随机森林预估器

# 5-1、创建随机森林预估器
estimator = RandomForestClassifier()

2、参数准备（网格搜索） 

# 5-2、参数准备（网格搜索）
param_dict = {'n_estimators':[120,200,300,500,800,1200], 'max_depth':[5,8,15,25,30]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)

3、训练

# 5-3、训练
estimator.fit(train_data, train_target)

模型评估结果： 

 

总代码

# 随机森林（泰坦尼克号游客存活率预估）
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV

# 1、读取数据
data = pd.read_csv('titanic.csv')
# print(data)

# 2、设置特征值和目标值
train = data[['pclass', 'age', 'room', 'sex']]
test = list(data['survived'])

# 3、数据处理
# 3-1、缺失值处理
train['age'].fillna(train['age'].mean(), inplace=True)
train['room'].fillna(train['room'][0], inplace=True)

# 3-2、特征值转换为字典
train = train.to_dict(orient='records')

# 3-3、划分数据集
train_data, test_data, train_target, test_target = train_test_split(train, test)
# print(train_data)

# 4、特征工程（字典特征值提取）
transfer = DictVectorizer()
train_data = transfer.fit_transform(train_data)
test_data = transfer.transform(test_data)
# print(train_data)

# 5、创建决策树预估器，训练
# 5-1、创建随机森林预估器
estimator = RandomForestClassifier()
# 5-2、参数准备（网格搜索）
param_dict = {'n_estimators':[120,200,300,500,800,1200], 'max_depth':[5,8,15,25,30]}
estimator = GridSearchCV(estimator, param_grid=param_dict, cv=3)
# 5-3、训练
estimator.fit(train_data, train_target)

# 6、模型评估
# 方法一：比对
predict = estimator.predict(test_data)
print(predict == test_target)

# 方法二：计算分数（正确率）
score = estimator.score(test_data, test_target)
print('准确率为：', score)