决策树-DecisionTree

最新推荐文章于 2023-10-20 15:33:37 发布
最新推荐文章于 2023-10-20 15:33:37 发布
阅读量882 收藏 2
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14845119/article/details/103513819
版权

 

Opencv:

setMaxCategories/getMaxCategories函数：设置/获取最大的类别数，默认值为10；

setMaxDepth/getMaxDepth函数：设置/获取树的最大深度，默认值为INT_MAX；

setMinSampleCount/getMinSampleCount函数：设置/获取最小训练样本数，默认值为10；

setCVFolds/getCVFolds函数：设置/获取CVFolds(thenumber of cross-validation folds)值，默认值为10，如果此值大于1，用于修剪构建的决策树；

setUseSurrogates/getUseSurrogates函数：设置/获取是否使用surrogatesplits方法，默认值为false；

setUse1SERule/getUse1SERule函数：设置/获取是否使用1-SE规则，默认值为true；

setTruncatePrunedTree/getTruncatedTree函数：设置/获取是否进行剪枝后移除操作，默认值为true；

setRegressionAccuracy/getRegressionAccuracy函数：设置/获取回归时用于终止的标准，默认值为0.01；

setPriors/getPriors函数：设置/获取先验概率数值，用于调整决策树的偏好，默认值为空的Mat；

getRoots函数：获取根节点索引；

getNodes函数：获取所有节点索引；

getSplits函数：获取所有拆分索引；

getSubsets函数：获取分类拆分的所有bitsets

 

 

示例代码：

//    ./decision_tree ../air.csv
#include "opencv2/ml/ml.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/core/utility.hpp"
#include <stdio.h>
#include <string>
#include <map>
#include <vector>
#include <iostream>
using namespace std;
using namespace cv;
using namespace cv::ml;

static void help()
{
    printf(
        "\nThis sample demonstrates how to use different decision trees and forests including boosting and random trees.\n"
        "Usage:\n\t./tree_engine [-r <response_column>] [-ts type_spec] <csv filename>\n"
        "where -r <response_column> specified the 0-based index of the response (0 by default)\n"
        "-ts specifies the var type spec in the form ord[n1,n2-n3,n4-n5,...]cat[m1-m2,m3,m4-m5,...]\n"
        "<csv filename> is the name of training data file in comma-separated value format\n\n");
}

static void train_and_print_errs(Ptr<StatModel> model, const Ptr<TrainData>& data)
{
    bool ok = model->train(data);
    if( !ok )
    {
        printf("Training failed\n");
    }
    else
    {
        printf( "train error: %f\n", model->calcError(data, false, noArray()) );
        printf( "test error: %f\n\n", model->calcError(data, true, noArray()) );
    }
}

int main(int argc, char** argv)
{
    if(argc < 2)
    {
        help();
        return 0;
    }
    const char* filename = 0;
    int response_idx = 0;
    std::string typespec;

    for(int i = 1; i < argc; i++)
    {
        if(strcmp(argv[i], "-r") == 0)
            sscanf(argv[++i], "%d", &response_idx);
        else if(strcmp(argv[i], "-ts") == 0)
            typespec = argv[++i];
        else if(argv[i][0] != '-' )
            filename = argv[i];
        else
        {
            printf("Error. Invalid option %s\n", argv[i]);
            help();
            return -1;
        }
    }

    printf("\nReading in %s...\n\n",filename);
    const double train_test_split_ratio = 0.7;

    Ptr<TrainData> data = TrainData::loadFromCSV(filename, 0, response_idx, response_idx+1, typespec);

    if( data.empty() )
    {
        printf("ERROR: File %s can not be read\n", filename);
        return 0;
    }

    data->setTrainTestSplitRatio(train_test_split_ratio);

    printf("======DTREE=====\n");
	int depth =13;
	for (int i=0;i<depth;i++){
	    Ptr<DTrees> dtree = DTrees::create();
    	dtree->setMaxDepth(i);
    	dtree->setMinSampleCount(2);
    	dtree->setRegressionAccuracy(0);
    	dtree->setUseSurrogates(false);
    	dtree->setMaxCategories(3);
    	dtree->setCVFolds(1);
    	dtree->setUse1SERule(true);
    	dtree->setTruncatePrunedTree(true);
    	dtree->setPriors(Mat());

		cout<<"depth "<<i<<" "<<endl;
    	train_and_print_errs(dtree, data);
    	dtree->save("dtree_result.xml");
	}



    if( (int)data->getClassLabels().total() <= 2 ) // regression or 2-class classification problem
    {
        printf("======BOOST=====\n");
        Ptr<Boost> boost = Boost::create();
        boost->setBoostType(Boost::GENTLE);
        boost->setWeakCount(100);
        boost->setWeightTrimRate(0.95);
        boost->setMaxDepth(2);
        boost->setUseSurrogates(false);
        boost->setPriors(Mat());
        train_and_print_errs(boost, data);
    }

    printf("======RTREES=====\n");
	for (int i=0;i<depth;i++){
    	Ptr<RTrees> rtrees = RTrees::create();
    	rtrees->setMaxDepth(10);
    	rtrees->setMinSampleCount(2);
    	rtrees->setRegressionAccuracy(0);
    	rtrees->setUseSurrogates(false);
    	rtrees->setMaxCategories(3);
    	rtrees->setPriors(Mat());
    	rtrees->setCalculateVarImportance(false);
    	rtrees->setActiveVarCount(0);
    	rtrees->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 0));
		
		cout<<"depth "<<i<<" "<<endl;
    	train_and_print_errs(rtrees, data);
	}




    std::cout << "======TEST====="<<std::endl;
	cv::Ptr<cv::ml::DTrees> dtree2 =cv::ml::DTrees::load("dtree_result.xml");
    std::vector<float>testVec;
    testVec.push_back(0.10111413);
    testVec.push_back(0.147943);
    testVec.push_back(0.1385576);
    testVec.push_back(0.35972223);
    float resultKind = dtree2->predict(testVec);
    std::cout << "label 2,pred "<<resultKind<<std::endl;
    return 0;
}

CMakeLists：

cmake_minimum_required(VERSION 3.7)
project(decision_tree)


set(CMAKE_BUILD_TYPE Release)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 ")
set(CMAKE_CXX_FLAGS "-std=c++0x -Wno-deprecated")
#set(CMAKE_CXX_STANDARD 11)
#option(NCNN_OPENMP "openmp support" OFF)
FIND_PACKAGE(OpenMP)
if(OPENMP_FOUND)
    message("OPENMP FOUND")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
    set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} ${OpenMP_EXE_LINKER_FLAGS}")
endif()


set(OPENCV_INCLUDE_DIR /data/opencv-3.3.1/include)
set(OPENCV_LIBRARY_DIR /data/opencv-3.3.1/build/lib)
set(OPENCV_LIBS -lopencv_core -lopencv_features2d -lopencv_highgui -lopencv_imgproc -lopencv_ml -lopencv_imgcodecs)


find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS})
include_directories(/usr/include)

add_executable(decision_tree decision_tree.cpp)
target_link_libraries(decision_tree dl ${OpenCV_LIBS} )

air.csv数据格式（label，feature1，feature2，feature3，feature4）：

1.0,0.064481236,0.13365328,0.17795815,0.38472223
2.0,0.07460991,0.13368088,0.12907954,0.3875
2.0,0.09277384,0.18969564,0.14788848,0.49861112
2.0,0.16025226,0.20588656,0.10510066,0.4722222
3.0,0.18401018,0.27592123,0.119767964,0.4236111
2.0,0.07291968,0.13746512,0.14516687,0.4486111
2.0,0.07614595,0.12724264,0.14924836,0.49861112
3.0,0.12498321,0.1986561,0.11265315,0.4097222

输出结果：

======DTREE=====
depth 0 
train error: 46.975090
test error: 39.166668

depth 1 
train error: 38.078293
test error: 37.500000

depth 2 
train error: 34.163700
test error: 44.166668

depth 3 
train error: 27.758007
test error: 43.333332

depth 4 
train error: 22.775801
test error: 46.666668

depth 5 
train error: 19.217081
test error: 43.333332

depth 6 
train error: 14.234876
test error: 47.500000

depth 7 
train error: 10.320285
test error: 45.000000

depth 8 
train error: 7.473310
test error: 50.833332

depth 9 
train error: 6.049822
test error: 49.166668

depth 10 
train error: 3.914591
test error: 49.166668

depth 11 
train error: 3.202847
test error: 50.000000

depth 12 
train error: 2.846975
test error: 50.000000

======RTREES=====
depth 0 
train error: 0.711744
test error: 36.666668

depth 1 
train error: 0.711744
test error: 36.666668

depth 2 
train error: 0.711744
test error: 36.666668

depth 3 
train error: 0.711744
test error: 36.666668

depth 4 
train error: 0.711744
test error: 36.666668

depth 5 
train error: 0.711744
test error: 36.666668

depth 6 
train error: 0.711744
test error: 36.666668

depth 7 
train error: 0.711744
test error: 36.666668

depth 8 
train error: 0.711744
test error: 36.666668

depth 9 
train error: 0.711744
test error: 36.666668

depth 10 
train error: 0.711744
test error: 36.666668

depth 11 
train error: 0.711744
test error: 36.666668

depth 12 
train error: 0.711744
test error: 36.666668

======TEST=====
label 2,pred 2

 

Sklearn:

示例代码：

#！／user/bin/env python
#-*- coding:utf-8 -*-
from sklearn.tree import export_graphviz
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import pydot
import numpy as np

#dot -Tpdf tree.dot -o tree.pdf


with open("air.csv","r",encoding="utf-8") as f:
    lines=f.readlines()

label=[]
data=[]
for line in lines:
    data.append(line.rstrip("\n").split(",")[1:])
    label.append(line.rstrip("\n").split(",")[0])

data=np.asarray(data)
label=np.asarray(label)


#参数random_state是指随机生成器，0表示函数输出是固定不变的
X_train,X_test,y_train,y_test = train_test_split(data, label,random_state=42,test_size=0.2)

for depth in list(range(1,16)):
    tree = DecisionTreeClassifier(max_depth=depth,random_state=0)
    tree.fit(X_train,y_train)
    print('tree depth:{}   Train score:{:.3f}    Test score:{:.3f}'.format(depth,tree.score(X_train,y_train),tree.score(X_test,y_test)))

print (classification_report(tree.predict(X_test),y_test,target_names=['score1','score2','score3']))

#生成可视化图
export_graphviz(tree,out_file="tree.dot",class_names=['score1','score2','score3'],feature_names=['wind','snow','rain','sunny'],impurity=False,filled=True)
#展示可视化图
(graph,) = pydot.graph_from_dot_file('tree.dot')
graph.write_png('./tree.png')

输出结果：

tree depth:1   Train score:0.641    Test score:0.543
tree depth:2   Train score:0.675    Test score:0.543
tree depth:3   Train score:0.719    Test score:0.543
tree depth:4   Train score:0.775    Test score:0.543
tree depth:5   Train score:0.803    Test score:0.494
tree depth:6   Train score:0.847    Test score:0.605
tree depth:7   Train score:0.891    Test score:0.580
tree depth:8   Train score:0.925    Test score:0.506
tree depth:9   Train score:0.969    Test score:0.519
tree depth:10   Train score:0.988    Test score:0.494
tree depth:11   Train score:0.997    Test score:0.506
tree depth:12   Train score:1.000    Test score:0.506
tree depth:13   Train score:1.000    Test score:0.506
tree depth:14   Train score:1.000    Test score:0.506
tree depth:15   Train score:1.000    Test score:0.506
              precision    recall  f1-score   support

      score1       0.61      0.44      0.51        25
      score2       0.56      0.53      0.55        45
      score3       0.30      0.55      0.39        11

    accuracy                           0.51        81
   macro avg       0.49      0.51      0.48        81
weighted avg       0.54      0.51      0.51        81

生成的决策树：

#dot -Tpdf tree.dot -o tree.pdf

 

watersink
关注
专栏目录
decision-tree-js, ID3决策树的小型JavaScript实现.zip
09-18
decision-tree-js, ID3决策树的小型JavaScript实现 decision-tree-js决策树与随机森林分类器算法的小型JavaScript实现算法。随机森林演示在线演示：http://fiddle.jshell.net/7WsMf/show/light/ 决策树演示在线演示...
matlab导入excel代码-Decision-Tree-GUI:决策树GUI
05-21
matlab导入excel代码决策树GUI 标题 具有交叉验证和ROC分析图的决策树和预测模型 概括 该代码为数据挖掘方法实现了一个分类树，并为每个目标类别绘制了ROC曲线。 描述 决策树学习是数据挖掘中常用的方法。 大多数...
机器学习技法 之 决策树（Decision Tree）
士杰的博客
04-26 673
决策树（Decision Tree）  aggregation type  blending  learning  uniform  voting/averaging  Bagging  non-uniform  linear &...
决策树
weixin_42948291的博客
06-19 807
一、CART算法 1、基于iris数据集，构造CART分类树 # encoding=utf-8 from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.tree import DecisionTreeClassifier from sklearn.datasets import load_iris # 准备数据集 iris=load_iris()
【sklearn决策树算法】DecisionTreeClassifier(API)的使用以及决策树代码实例 - 鸢尾花分类...
YanqiangWang的专栏
09-27 1434
决策树算法 决策树算法主要有ID3, C4.5, CART这三种。 ID3算法从树的根节点开始，总是选择信息增益最大的特征，对此特征施加判断条件建立子节点，递归进行，直到信息增益很小或者没有特征时结束。 信息增益：特征 A 对于某一训练集 D 的信息增益 \(g(D, A)\) 定义为集合 D 的熵 \(H(D)\) 与特征 A 在给定条件下 D 的熵 \(H(D/A)\) 之差。 熵(...
决策树的调参，比较直观的代码显示
xiaoyifeishuang1的博客
10-20 392
以上是使用我自己能理解的角度去敲了一次代码，比较直观的看到现象。归根到底还是参考了别人想法。
k-fold交叉验证，神经网络，matlab
Hardysong的博客
04-14 1万+
k-fold交叉验证在神经网络下matlab的实现
jueceshu.rar_CART决策树_decision tree_matlab 树_决策树代码_决策树算法
07-14
标题"jueceshu.rar_CART决策树_decision tree_matlab 树_决策树代码_决策树算法"表明这是一个关于使用MATLAB实现CART决策树算法的资源包，可能包含了代码示例和相关说明。其中，“jueceshu.txt”可能是对CART决策树...
决策树（Decision Tree）.zip
最新发布
03-26
决策树决策树（Decision Tree）是一种常用的机器学习算法，它主要用于分类和回归问题。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。决策树由结点和有向...
机器学习-决策树(Decision Tree)
01-06
Section I: Brief Introduction on Decision Tree Decision tree classifiers are attractive models if model interpretability is of our concern. As the name decision tree suggests, we can think of this ...
Sklearn中的CV与KFold详解
热门推荐
FontTian的博客
01-31 3万+
关于交叉验证,我在之前的文章中已经进行了简单的介绍,而现在我们则通过几个更加详尽的例子.详细的介绍 CV %matplotlib inline import numpy as np from sklearn.model_selection import train_test_split from sklearn import datasets from sklearn import s...
OpenCV3.3中决策树(Decision Tree)接口简介及使用
网络资源是无限的
12-23 4217
OpenCV3.3中决策树(Decision Tree)接口简介及使用
深度 | 机器学习中的模型评价、模型选择及算法选择
AI科技大本营
02-13 1万+
作者：Sebastian Raschka翻译：reason_W编辑：周翔简介正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要。本文将对这三个任务的相关技术进行回顾，并就每种技术的理论和实证研究的主要优缺点进行讨论。文章还将就机器学习算法中的超参数调优给出尽可能的建议，用以实现最佳的算法效果。文中内容涉及很多常用方法，比如模型评估和选择中的Holdout方法
opencv进阶19-基于opencv 决策树cv::ml::DTrees 实现demo示例
小海聊智造
08-23 1873
样本缺少某些特征的值，那么该样本就无法继续沿着树向下切分，也就无法到达叶子节点，即没有预测输出。在这种情况下，可以利用当前节点下面的所有子节点中的叶子节点来预测输出的平均值，作为这个样本的预测输出，故称之为代理切分。罕见的异常，即在训练集中正常比异常多很多，此时只需将每个案例都视为正常，即可实现非常好的分类性能。为了避免这种情况，可以指定先验，人为地增加异常概率（高达0.5，甚至更高），因此错误分类的异常权重变得更大，这样决策树就能做出适当地调整，以更好地检测异常样本。如果是，则向左移动，否则向右移动。
机器学习-采用正态贝叶斯分类器、决策树、随机森林对wine数据集分类
tiankong_的博客
11-15 2807
#include "opencv2/ml/ml.hpp" #include "opencv2/core/core.hpp" #include "opencv2/core/utility.hpp" #include #include #include #include #include using namespace std; using namespace cv; using names
1SE rule details in CCP pruning of CART
微电子学与固体电子学-俞驰
12-11 695
CCP:cost complexity pruning according to [1]: the 1-SE Rule advises us to find the complexity parameter with an associated cross-validated error less than the minimum cross-validated standard error ...
交叉验证stratified k-fold cv与shuffle等常用cv方法
三年研究生能改变多少
12-26 6474
本文参考： https://scikit-learn.org/stable/modules/cross_validation.html#stratified-k-fold 与《python机器学习基础教程》 好，开始今天的cv学习！ 本文需要有一些CV的基础概念之后看会更有收获。 在开始之前，我们要先明确一点： 交叉验证不是一种构建可应用于新数据的模型的方法。交叉验证不会返回一个模型。在调用cv时...
交叉验证中cv=? 与 cv=KFold(n_splits=?)的区别
qq_43653405的博客
08-19 4858
这几天复习交叉验证的时候发现一个问题，学习资料中有些地方用的函数中cv=?，有些地方则用的cv=KFold(n_splits=?) 这个函数，就比如我用KNN模型做十折交叉验证： model = sk_neighbors.KNeighborsClassifier(n_neighbors=5,n_jobs=1) #KNN分类 import sklearn.model_selection as sk_model_selection accs=sk_model_selection.cross_val_score(
opencv机器学习ml模块简介
知识搬运工的博客
04-16 1万+
本文不涉原理，只介绍如何使用！ ml模块为opencv的机器学习(machine learning，ml)代码库，包含各种机器学习算法： 0, class CvStatModel ; class CvMLData; struct CvParamGrid; 1，Normal Bayes Classifier（贝叶斯分类）； 2，K-...
掌握机器学习决策树算法，实现DecisionTree教程
资源摘要信息:"机器学习算法之决策树DecisionTree实现.zip文件包含了机器学习领域中一种基础而强大的算法——决策树（Decision Tree）的实现代码。决策树是一种常用的分类和回归算法，它通过一系列的决策规则对数据...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值