机器学习-------算法（八）-CSDN博客

本文链接：https://blog.csdn.net/victor_fa/article/details/103196524

分类算法：决策树与随机森林

（一）决策树：

决策树思想的来源：程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

先学知识：信息论基础

信息熵：

H = -(p1logp1 + p2logp2 + ... + p32log32)

p1 `````p32 是指的概率

比如A班对B班，胜率一个为x，另一个为1-x

则信息熵为 -(xlogx + (1-x)log(1-x))

信息熵越大，不确定性越高。

反之则越小。

正式开始：

决策树的划分依据之一--- 信息熵（划分：就是那个是最重要的条件，那个次之，依次进行）

结果：

信息熵增益最大的作为树分支结构的首要分类，一次进行重要性的递减操作。

常见的决策树使用的算法：

•ID3

信息增益最大的准则

•C4.5

信息增益比最大的准则

•CART

回归树: 平方误差最小

分类树: 基尼系数最小的准则在sklearn中可以选择划分的原则

API：

class sklearn.tree.DecisionTreeClassifier ( criterion=’ gini ’ , max_depth = None , random_state =None )

决策树分类器

criterion: 默认是 ’ gini ’ 系数，也可以选择信息增益的熵 ’entropy’

max_depth : 树的深度大小

random_state : 随机数种子

method:

decision_path : 返回决策树的路径

一个模型建立的过程：

1、pd读取数据

2、选择有影响的特征，处理缺失值

3、进行特征工程，pd转换字典，特征抽取

x_train.to_dict(orient="records")

4、决策树估计器流程

决策树的优缺点以及改进：

•优点：

•简单的理解和解释，树木可视化。

•需要很少的数据准备，其他技术通常需要数据归一化，

•缺点：

•决策树学习者可以创建不能很好地推广数据的过于复杂的树，

这被称为过拟合。

•决策树可能不稳定，因为数据的小变化可能会导致完全不同的树

被生成

•改进：

•减枝cart算法

•随机森林

代码：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier


def decision():
    """决策树关于套坦尼克号判断人员生死的问题"""
    # 获取数据
    taitan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    # 处理数据，进行特征值与目标值得选择
    x = taitan["pclass", "age", "sex"]
    y = taitan["survived"]
    # 缺失值处理
    x["age"].fillna(x["age"].mean(), inplace=True)
    # 分割数据，测试集与训练集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    # 特征工程：对类别进行处理。one—hot编码，变成字典等操作
    # 实例化特征属性
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    x_test = dict.transform(x_test.to_dict(orient="records"))
    # print(x_train)
    # 用决策树进行判断
    dec = DecisionTreeClassifier()
    dec.fit((x_train, y_train))
    # 准确率
    print("zhunquelv :", dec.score(x_test, y_test))


def main():
    decision()


if __name__ == '__main__':
    main()

（二）随机森林：

定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。

学习算法

根据下列算法而建造每棵树：

•用N来表示训练用例（样本）的个数，M表示特征数目。

•输入特征数目m，用于确定决策树上一个节点的决策结果；其中m应远小于M。

•从N个训练用例（样本）中以有放回抽样的方式，取样 N 次，形成一个训练集（即 bootstrap 取样），并用未抽到的用例（样本）作预测，评估其误差。

API：

• class sklearn.ensemble.RandomForestClassifier ( n_estimators =10 , criterion=’ gini ’ ,

max_depth=None, bootstrap=True, random_state=None)

• 随机森林分类器

• n_estimators ： integer ， optional （ default = 10 ）森林里的树木数量

• criteria ： string ，可选（ default =“ gini ” ）分割特征的测量方法

• max_depth ： integer 或 None ，可选（默认 = 无）树的最大深度

• bootstrap ： boolean ， optional （ default = True ）是否在构建树时使用放回抽样

优点：

• 在当前所有算法中，具有极好的准确率

• 能够有效地运行在大数据集上

• 能够处理具有高维特征的输入样本，而且不需要降维

• 能够评估各个特征在分类问题上的重要性

• 对于缺省值问题也能够获得很好得结果

代码：

import pandas as pd
from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_extraction import DictVectorizer
from sklearn.model_selection import GridSearchCV, train_test_split


def random_forest():
    """随机森林"""
    # 获取数据
    taitan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")
    # 处理数据，进行特征值与目标值得选择
    x = taitan["pclass", "age", "sex"]
    y = taitan["survived"]
    # 缺失值处理
    x["age"].fillna(x["age"].mean(), inplace=True)
    # 分割数据，测试集与训练集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    # 特征工程：对类别进行处理。one—hot编码，变成字典等操作
    # 实例化特征属性
    dict = DictVectorizer(sparse=False)
    x_train = dict.fit_transform(x_train.to_dict(orient="records"))
    x_test = dict.transform(x_test.to_dict(orient="records"))
    # print(x_train)
    #初始化 Random Forest
    rf = RandomForestClassifier()
    # 参数调优：网格搜索和交叉验证
    # 构造调优参数
    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth":[5, 8, 15, 25, 30]}
    gs = GridSearchCV(rf, param_grid=param, cv= 10)
    gs.fit(x_train, y_train)
    print("准确率：", gs.score(x_test, y_test))
    print("选择的参数模型", gs.best_params_)


def main():
    random_forest()


if __name__ == '__main__':
    main()