人工智能：集成学习方法随机森林

集成学习方法

集成学习通过建立几个模型组合来解决单一预测问题，他的工作原理是 生成多个分类器/模型 ，各自独立的学习和做出预测，这些预测最后结合成单预测。因此优于任何一个单分类做出的预测

随机森林

什么时随机森林

在机器学习中，随机森林就是一个包含多个决策树的分类器，其中并输出的类别是个别树输出的类别的众数而定

随机森林的过程，优势

单个树建立 的过程： N个样本，M个特征 （随机又放回的抽样 bootstrap抽样）

1. 随机在N个样本中选择一个样本，重复N次样本可能重复
2. 随机在M个特征中选出m个特征
3. 建立时刻决策树，样本，特征大多不一样

泰坦尼克号乘客生存分类分析

随机森林API

代码

from sklearn.datasets import load_iris,fetch_20newsgroups,load_boston
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
import pandas as pd
from sklearn.model_selection import GridSearchCV
from sklearn.naive_bayes import MultinomialNB  #朴素贝叶斯算法
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier,export_graphviz
from sklearn.ensemble import RandomForestClassifier
def decision():
    """决策树预测生死"""
    # 获取数据
    titan=pd.read_csv("http://www/.../")
    # 处理数据，找出特征值和目标值
    x=titan[["pclass","age","sex"]]
    y=titan["survived"]

    # 处理缺失值
    x['age'].fillna(x["age"].mean(),implace=True)

    # 分割数据数据集
    x_train,x_text,y_train,y_text=train_test_split(x,y,text_size=0.25)

    print(x)
    # 处理（特征工程）特征-》类别 one-hot编码
    mydict=DictVectorizer(sparse=False)
    x_train=mydict.fit_transform(x_train.to_dict(orient="records"))
    x_text=mydict.transform(x_text.to_dict(orient="recods"))
    # print(x_train)
    #
    # dec=DecisionTreeClassifier(max_depth=5)
    # dec.fit(x_train,y_train)
    # print("预测的准确率为：",dec.score(x_text,y_text))
    # # 导出决策树结构
    # export_graphviz(dec,out_file="./tree.dot",feature_names=["年龄","pclass=1st","pclass=2nd","pclass=3rd","女性","男性"])

    # 随机森林进行预测 超参数调优
    param={"n_estimators":{120,200,300,500,800,1200},"max_depth":{5,8,15,25,30}}
    rf=RandomForestClassifier()
    # 网格搜索与交叉验证
    gc=GridSearchCV(rf,param_grid=param,cv=2)
    gc.fit(x_train,y_train)
    print("准确率为：",gc.score(x_text,y_text))
    print("查看选择的参数模型：",gc.best_params_)
    return  None
def main():
    decision()
if __name__ == '__main__':
    main()

随机森林优点

1. 在当前所有算法中，具有极好的准确率
2. 能够有效的运行在大数据集上
3. 能够处理具有高维特征的输入样本，而且不需要降维
4. 能够评估单个特例在分类问题上的重要性