决策树-DecisionTree

最新推荐文章于 2022-09-14 09:34:40 发布
最新推荐文章于 2022-09-14 09:34:40 发布
阅读量819 收藏 2
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14845119/article/details/103513819
版权

 

Opencv:

setMaxCategories/getMaxCategories函数：设置/获取最大的类别数，默认值为10；

setMaxDepth/getMaxDepth函数：设置/获取树的最大深度，默认值为INT_MAX；

setMinSampleCount/getMinSampleCount函数：设置/获取最小训练样本数，默认值为10；

setCVFolds/getCVFolds函数：设置/获取CVFolds(thenumber of cross-validation folds)值，默认值为10，如果此值大于1，用于修剪构建的决策树；

setUseSurrogates/getUseSurrogates函数：设置/获取是否使用surrogatesplits方法，默认值为false；

setUse1SERule/getUse1SERule函数：设置/获取是否使用1-SE规则，默认值为true；

setTruncatePrunedTree/getTruncatedTree函数：设置/获取是否进行剪枝后移除操作，默认值为true；

setRegressionAccuracy/getRegressionAccuracy函数：设置/获取回归时用于终止的标准，默认值为0.01；

setPriors/getPriors函数：设置/获取先验概率数值，用于调整决策树的偏好，默认值为空的Mat；

getRoots函数：获取根节点索引；

getNodes函数：获取所有节点索引；

getSplits函数：获取所有拆分索引；

getSubsets函数：获取分类拆分的所有bitsets

 

 

示例代码：

//    ./decision_tree ../air.csv
#include "opencv2/ml/ml.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/core/utility.hpp"
#include <stdio.h>
#include <string>
#include <map>
#include <vector>
#include <iostream>
using namespace std;
using namespace cv;
using namespace cv::ml;

static void help()
{
    printf(
        "\nThis sample demonstrates how to use different decision trees and forests including boosting and random trees.\n"
        "Usage:\n\t./tree_engine [-r <response_column>] [-ts type_spec] <csv filename>\n"
        "where -r <response_column> specified the 0-based index of the response (0 by default)\n"
        "-ts specifies the var type spec in the form ord[n1,n2-n3,n4-n5,...]cat[m1-m2,m3,m4-m5,...]\n"
        "<csv filename> is the name of training data file in comma-separated value format\n\n");
}

static void train_and_print_errs(Ptr<StatModel> model, const Ptr<TrainData>& data)
{
    bool ok = model->train(data);
    if( !ok )
    {
        printf("Training failed\n");
    }
    else
    {
        printf( "train error: %f\n", model->calcError(data, false, noArray()) );
        printf( "test error: %f\n\n", model->calcError(data, true, noArray()) );
    }
}

int main(int argc, char** argv)
{
    if(argc < 2)
    {
        help();
        return 0;
    }
    const char* filename = 0;
    int response_idx = 0;
    std::string typespec;

    for(int i = 1; i < argc; i++)
    {
        if(strcmp(argv[i], "-r") == 0)
            sscanf(argv[++i], "%d", &response_idx);
        else if(strcmp(argv[i], "-ts") == 0)
            typespec = argv[++i];
        else if(argv[i][0] != '-' )
            filename = argv[i];
        else
        {
            printf("Error. Invalid option %s\n", argv[i]);
            help();
            return -1;
        }
    }

    printf("\nReading in %s...\n\n",filename);
    const double train_test_split_ratio = 0.7;

    Ptr<TrainData> data = TrainData::loadFromCSV(filename, 0, response_idx, response_idx+1, typespec);

    if( data.empty() )
    {
        printf("ERROR: File %s can not be read\n", filename);
        return 0;
    }

    data->setTrainTestSplitRatio(train_test_split_ratio);

    printf("======DTREE=====\n");
	int depth =13;
	for (int i=0;i<depth;i++){
	    Ptr<DTrees> dtree = DTrees::create();
    	dtree->setMaxDepth(i);
    	dtree->setMinSampleCount(2);
    	dtree->setRegressionAccuracy(0);
    	dtree->setUseSurrogates(false);
    	dtree->setMaxCategories(3);
    	dtree->setCVFolds(1);
    	dtree->setUse1SERule(true);
    	dtree->setTruncatePrunedTree(true);
    	dtree->setPriors(Mat());

		cout<<"depth "<<i<<" "<<endl;
    	train_and_print_errs(dtree, data);
    	dtree->save("dtree_result.xml");
	}



    if( (int)data->getClassLabels().total() <= 2 ) // regression or 2-class classification problem
    {
        printf("======BOOST=====\n");
        Ptr<Boost> boost = Boost::create();
        boost->setBoostType(Boost::GENTLE);
        boost->setWeakCount(100);
        boost->setWeightTrimRate(0.95);
        boost->setMaxDepth(2);
        boost->setUseSurrogates(false);
        boost->setPriors(Mat());
        train_and_print_errs(boost, data);
    }

    printf("======RTREES=====\n");
	for (int i=0;i<depth;i++){
    	Ptr<RTrees> rtrees = RTrees::create();
    	rtrees->setMaxDepth(10);
    	rtrees->setMinSampleCount(2);
    	rtrees->setRegressionAccuracy(0);
    	rtrees->setUseSurrogates(false);
    	rtrees->setMaxCategories(3);
    	rtrees->setPriors(Mat());
    	rtrees->setCalculateVarImportance(false);
    	rtrees->setActiveVarCount(0);
    	rtrees->setTermCriteria(TermCriteria(TermCriteria::MAX_ITER, 100, 0));
		
		cout<<"depth "<<i<<" "<<endl;
    	train_and_print_errs(rtrees, data);
	}




    std::cout << "======TEST====="<<std::endl;
	cv::Ptr<cv::ml::DTrees> dtree2 =cv::ml::DTrees::load("dtree_result.xml");
    std::vector<float>testVec;
    testVec.push_back(0.10111413);
    testVec.push_back(0.147943);
    testVec.push_back(0.1385576);
    testVec.push_back(0.35972223);
    float resultKind = dtree2->predict(testVec);
    std::cout << "label 2,pred "<<resultKind<<std::endl;
    return 0;
}

CMakeLists：

cmake_minimum_required(VERSION 3.7)
project(decision_tree)


set(CMAKE_BUILD_TYPE Release)
set(CMAKE_CXX_STANDARD 11)
set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++11 ")
set(CMAKE_CXX_FLAGS "-std=c++0x -Wno-deprecated")
#set(CMAKE_CXX_STANDARD 11)
#option(NCNN_OPENMP "openmp support" OFF)
FIND_PACKAGE(OpenMP)
if(OPENMP_FOUND)
    message("OPENMP FOUND")
    set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${OpenMP_C_FLAGS}")
    set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${OpenMP_CXX_FLAGS}")
    set(CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} ${OpenMP_EXE_LINKER_FLAGS}")
endif()


set(OPENCV_INCLUDE_DIR /data/opencv-3.3.1/include)
set(OPENCV_LIBRARY_DIR /data/opencv-3.3.1/build/lib)
set(OPENCV_LIBS -lopencv_core -lopencv_features2d -lopencv_highgui -lopencv_imgproc -lopencv_ml -lopencv_imgcodecs)


find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS})
include_directories(/usr/include)

add_executable(decision_tree decision_tree.cpp)
target_link_libraries(decision_tree dl ${OpenCV_LIBS} )

air.csv数据格式（label，feature1，feature2，feature3，feature4）：

1.0,0.064481236,0.13365328,0.17795815,0.38472223
2.0,0.07460991,0.13368088,0.12907954,0.3875
2.0,0.09277384,0.18969564,0.14788848,0.49861112
2.0,0.16025226,0.20588656,0.10510066,0.4722222
3.0,0.18401018,0.27592123,0.119767964,0.4236111
2.0,0.07291968,0.13746512,0.14516687,0.4486111
2.0,0.07614595,0.12724264,0.14924836,0.49861112
3.0,0.12498321,0.1986561,0.11265315,0.4097222

输出结果：

======DTREE=====
depth 0 
train error: 46.975090
test error: 39.166668

depth 1 
train error: 38.078293
test error: 37.500000

depth 2 
train error: 34.163700
test error: 44.166668

depth 3 
train error: 27.758007
test error: 43.333332

depth 4 
train error: 22.775801
test error: 46.666668

depth 5 
train error: 19.217081
test error: 43.333332

depth 6 
train error: 14.234876
test error: 47.500000

depth 7 
train error: 10.320285
test error: 45.000000

depth 8 
train error: 7.473310
test error: 50.833332

depth 9 
train error: 6.049822
test error: 49.166668

depth 10 
train error: 3.914591
test error: 49.166668

depth 11 
train error: 3.202847
test error: 50.000000

depth 12 
train error: 2.846975
test error: 50.000000

======RTREES=====
depth 0 
train error: 0.711744
test error: 36.666668

depth 1 
train error: 0.711744
test error: 36.666668

depth 2 
train error: 0.711744
test error: 36.666668

depth 3 
train error: 0.711744
test error: 36.666668

depth 4 
train error: 0.711744
test error: 36.666668

depth 5 
train error: 0.711744
test error: 36.666668

depth 6 
train error: 0.711744
test error: 36.666668

depth 7 
train error: 0.711744
test error: 36.666668

depth 8 
train error: 0.711744
test error: 36.666668

depth 9 
train error: 0.711744
test error: 36.666668

depth 10 
train error: 0.711744
test error: 36.666668

depth 11 
train error: 0.711744
test error: 36.666668

depth 12 
train error: 0.711744
test error: 36.666668

======TEST=====
label 2,pred 2

 

Sklearn:

示例代码：

#！／user/bin/env python
#-*- coding:utf-8 -*-
from sklearn.tree import export_graphviz
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report
import pydot
import numpy as np

#dot -Tpdf tree.dot -o tree.pdf


with open("air.csv","r",encoding="utf-8") as f:
    lines=f.readlines()

label=[]
data=[]
for line in lines:
    data.append(line.rstrip("\n").split(",")[1:])
    label.append(line.rstrip("\n").split(",")[0])

data=np.asarray(data)
label=np.asarray(label)


#参数random_state是指随机生成器，0表示函数输出是固定不变的
X_train,X_test,y_train,y_test = train_test_split(data, label,random_state=42,test_size=0.2)

for depth in list(range(1,16)):
    tree = DecisionTreeClassifier(max_depth=depth,random_state=0)
    tree.fit(X_train,y_train)
    print('tree depth:{}   Train score:{:.3f}    Test score:{:.3f}'.format(depth,tree.score(X_train,y_train),tree.score(X_test,y_test)))

print (classification_report(tree.predict(X_test),y_test,target_names=['score1','score2','score3']))

#生成可视化图
export_graphviz(tree,out_file="tree.dot",class_names=['score1','score2','score3'],feature_names=['wind','snow','rain','sunny'],impurity=False,filled=True)
#展示可视化图
(graph,) = pydot.graph_from_dot_file('tree.dot')
graph.write_png('./tree.png')

输出结果：

tree depth:1   Train score:0.641    Test score:0.543
tree depth:2   Train score:0.675    Test score:0.543
tree depth:3   Train score:0.719    Test score:0.543
tree depth:4   Train score:0.775    Test score:0.543
tree depth:5   Train score:0.803    Test score:0.494
tree depth:6   Train score:0.847    Test score:0.605
tree depth:7   Train score:0.891    Test score:0.580
tree depth:8   Train score:0.925    Test score:0.506
tree depth:9   Train score:0.969    Test score:0.519
tree depth:10   Train score:0.988    Test score:0.494
tree depth:11   Train score:0.997    Test score:0.506
tree depth:12   Train score:1.000    Test score:0.506
tree depth:13   Train score:1.000    Test score:0.506
tree depth:14   Train score:1.000    Test score:0.506
tree depth:15   Train score:1.000    Test score:0.506
              precision    recall  f1-score   support

      score1       0.61      0.44      0.51        25
      score2       0.56      0.53      0.55        45
      score3       0.30      0.55      0.39        11

    accuracy                           0.51        81
   macro avg       0.49      0.51      0.48        81
weighted avg       0.54      0.51      0.51        81

生成的决策树：

#dot -Tpdf tree.dot -o tree.pdf

 

watersink
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
决策树（Decision Tree）.zip
03-26
决策树决策树（Decision Tree）是一种常用的机器学习算法，它主要用于分类和回归问题。决策树模型呈树形结构，在分类问题中，表示基于特征对实例进行分类的过程，它可以认为是if-then规则的集合。决策树由结点和有向...
XGboost中的cv函数参数详解
热门推荐
lyy的博客
10-26 1万+
def cv(params, dtrain, num_boost_round=10, nfold=3, stratified=False, folds=None, metrics=(), obj=None, feval=None, maximize=False, early_stopping_rounds=None, fpreproc=None, as_pandas=...
spark机器学习实现之随机森林
wangkai198911的博客
12-26 1734
还是按照以前交代的，通过接口配置sc，忘记的可查看 http://blog.csdn.net/wangkai198911/article/details/78728449 通过sqlcontext直接创建dataframe，数据格式的为libsvm， label: double, features: vector label即为分类标签，features是特征，以vector的方式进行保存 //
深度 | 机器学习中的模型评价、模型选择及算法选择
AI科技大本营
02-13 1万+
作者：Sebastian Raschka翻译：reason_W编辑：周翔简介正确使用模型评估、模型选择和算法选择技术无论是对机器学习学术研究还是工业场景应用都至关重要。本文将对这三个任务的相关技术进行回顾，并就每种技术的理论和实证研究的主要优缺点进行讨论。文章还将就机器学习算法中的超参数调优给出尽可能的建议，用以实现最佳的算法效果。文中内容涉及很多常用方法，比如模型评估和选择中的Holdout方法
机器学习-采用正态贝叶斯分类器、决策树、随机森林对wine数据集分类
tiankong_的博客
11-15 2730
#include "opencv2/ml/ml.hpp" #include "opencv2/core/core.hpp" #include "opencv2/core/utility.hpp" #include #include #include #include #include using namespace std; using namespace cv; using names
在opencv3中的机器学习算法
深之JohnChen的专栏
05-15 2165
转载：https://www.cnblogs.com/denny402/p/5032232.html 在opencv3.0中，提供了一个ml.cpp的文件，这里面全是机器学习的算法，共提供了这么几种： 1、正态贝叶斯：normal Bayessian classifier 我已在另外一篇博文中介绍过：在opencv3中实现机器学习之：利用正态贝叶斯分类 2、K最近邻：k nearest...
SparkMLlib-DecisionTree源码分析
02-26
以决策树作为开始，因为简单，而且也比较容易用到，当前的boosting或randomforest也是常以其为基础的决策树算法本身参考之前的blog，其实就是贪婪算法，每次切分使得数据变得最为有序无序，nodeimpurity对于分类问题...
Decision Tree_decisiontree_决策树_python_
10-04
使用python实现决策树算法，通过举例熟练认识掌握决策树算法。
决策树 Decision Tree1
08-03
1.决策树基本原理 2.决策树三要素 1. 特征选择： 2. 决策树生成： 3. 剪枝： 3. 决策树学习基本算法 4.决策树算法优缺点 5.熵的概念 6.信息
1SE rule details in CCP pruning of CART
微电子学与固体电子学-俞驰
12-11 656
CCP:cost complexity pruning according to [1]: the 1-SE Rule advises us to find the complexity parameter with an associated cross-validated error less than the minimum cross-validated standard error ...
sklearn决策树怎么使用ccp_alpha进行剪枝
ywj_1991的博客
09-14 3065
《老饼讲解-机器学习》本文讲解sklearn中决策树ccp_alpha参数的使用方法,它主要用于ccp后剪枝。 ccp_alpha的值要设为多少？ 事实上，一般并不是直接设置ccp_alpha， 而是要先打印CCP路径，再根据路径信息来决定alpha的值。 CCP路径又是什么鬼？ 本文一一道来。
【sklearn决策树算法】DecisionTreeClassifier(API)的使用以及决策树代码实例 - 鸢尾花分类...
YanqiangWang的专栏
09-27 1257
决策树算法 决策树算法主要有ID3, C4.5, CART这三种。 ID3算法从树的根节点开始，总是选择信息增益最大的特征，对此特征施加判断条件建立子节点，递归进行，直到信息增益很小或者没有特征时结束。 信息增益：特征 A 对于某一训练集 D 的信息增益 \(g(D, A)\) 定义为集合 D 的熵 \(H(D)\) 与特征 A 在给定条件下 D 的熵 \(H(D/A)\) 之差。 熵(...
OpenCV3.3中决策树(Decision Tree)接口简介及使用
网络资源是无限的
12-23 4104
OpenCV3.3中决策树(Decision Tree)接口简介及使用
opencv3/C++ 机器学习-提升算法/Boosting
akadiao的博客
03-02 1927
提升算法/Boosting 提升算法/Boosting是一种提高弱分类器准确度的方法。通常在分类问题中，boosting通过改变训练样本的权重，学习多个分类器，并将这些分类器线性组合，提高分类性能。 Kearns 和 Valiant分别在1988和1989年提出了“强可学习”和“弱可学习”的概念。1990年Robert Schapire在论文The Strength of Weak Lear...
opencv3/C++ 机器学习-随机森林/Random Trees
akadiao的博客
03-01 9058
随机森林简介 随机森林由许多决策树组成：通过随机抽取训练样本构建每棵决策树，从特征属性中随机抽取的特征属性中选取最佳分裂属性。 随机森林/Random Forests的一般方法最早由Ho于1995年提出。Leo Breiman在Random Forests中提出随机森林概念，随后与Adele Cutler系统研究和发展了这一理论并注册了商标（包括RF、 RandomForests,、Rando...
梯度迭代树回归（GBDT）算法原理及Spark MLlib调用实例（Scala/Java/python）
liulingyuan6的博客
12-05 4290
梯度迭代树回归 算法简介：         梯度提升树是一种决策树的集成算法。它通过反复迭代训练决策树来最小化损失函数。决策树类似，梯度提升树具有可处理类别特征、易扩展到多分类问题、不需特征缩放等性质。Spark.ml通过使用现有decision tree工具来实现。        梯度提升树依次迭代训练一系列的决策树。在一次迭代中，算法使用现有的集成来对每个训练实例的类别进行预测，然后
在opencv3.0中的机器学习算法
xueluowutong的博客
01-26 586
在opencv3.0中，提供了一个ml.cpp的文件，这里面全是机器学习的算法，共提供了这么几种： 1、正态贝叶斯：normal Bayessian classifier     2、K最近邻：k nearest neighbors classifier 3、支持向量机：support vectors machine     4、决策树： decision tree 5、ADA Boos...
java ML回归预测_随机森林回归（Random Forest）算法介绍及Spark MLlib调用实例（Scala/Java/python）...
weixin_39581716的博客
02-23 568
随机森林回归算法介绍：随机森林是决策树的集成算法。随机森林包含多个决策树来降低过拟合的风险。随机森林同样具有易解释性、可处理类别特征、易扩展到多分类问题、不需特征缩放等性质。随机森林分别训练一系列的决策树，所以训练过程是并行的。因算法中加入随机过程，所以每个决策树又有少量区别。通过合并每个树的预测结果来减少预测的方差，提高在测试集上的性能表现。随机性体现：1.每次迭代时，对原始数据进行二次抽样来获...
决策树分类python代码_分类算法-决策树 Decision Tree
最新发布
05-19
以下是一个简单的决策树分类的Python代码示例： ``` from sklearn import tree # 定义特征和标签 features = [[140, 1], [130, 1], [150, 0], [170, 0]] labels = [0, 0, 1, 1] # 训练决策树模型 clf = tree....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值