决策树(DT)相关介绍,实现肌电信号(8类)分类

一. 概念

  决策树是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断可行的决策分析方法,是直观运用概率分析的一种图解法。
  分类树(决策树)是一种十分常见的分类方法。它是一种 监督学习,所谓监督学习就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。

二.组成

  ·决策点:最后选择的最佳方案
  ·状态节点:代表备选方案的经济效果(期望值)
  ·结果节点:将每个方案在各种自然状态下取得的损益值标注于结果节点的右端

三.优缺点

  优点:①易于理解和实现,在学习过程中不需要使用者了解很多的背景知识,这同时使它的能够直接体现数据的特点,只要通过解释后都有能力去理解决策树所表达的意义;
     ②数据的准备往往是简单或是不必要的,能够同时处理数据型和常规型属性,在相对短的时间内对大型数据作出可行且效果良好的结果;
     ③通过静态测试来对模型进行评测,可以测定模型的可信度。
  缺点:①对连续性的字段比较难预测;
     ②对有时间顺序的数据,需要很多预处理的工作;
     ③当类别太多时,错误可能就会增加的比较快;
     ④一般的算法分类的时候,只是根据一个字段来分类。

四.相关算法

  (1)C4.5:用信息增益率来选择属性
  优点:产生的分类规则易于理解,准确率较高
  缺点:①在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,导致算法的低效;
     ②C4.5只适合于能够驻留于内存的数据集,当训练集大得无法在内存容纳时程序无法运行。
  (2)CART:给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。
  优点:①可以生成容易理解的规则;
     ②计算量相对来说不是很大;
     ③可以处理连续和种类字段;
     ④决策树可以清晰的显示哪些字段比较重要。

五.python实现

数据集下载链接:数据集

import numpy as np
import pandas as pd
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

# 数据集(可在我的主页里上传的资源里下载哦)
raw_data = pd.read_csv('1_raw_data_13-12_22.03.16.txt',sep='\t',header=0)  # 读取csv数据,并将第一行视为表头,返回DataFrame类型
data = raw_data.values

times = data[::,0]
# features = data[::, 1:3]                           # 主成分分析法PCA
features_data = raw_data[['channel1', 'channel5']]  # 相关性热力图
# features_data = raw_data[['channel2', 'channel8']]  # SVM_RFE递归特征消除法
features = features_data.values
labels = np.array(data[::,-1].astype(int))    # 最后一列为特征值


#选取33%数据作为测试集,剩余为训练集
train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33, random_state=0)

train_features = np.array(train_features)
train_labels = np.array(train_labels)
test_features = np.array(test_features)
test_labels = np.array(test_labels)

# criterion = gini(基尼系数-CART算法),entropy(信息增益-C4.5算法)
# splitter:random
dt = DecisionTreeClassifier(criterion='entropy',splitter='random')
dt.fit(train_features,train_labels)
pred_test = dt.predict(test_features)
accuracy_score = accuracy_score(test_labels,pred_test)
print(accuracy_score)

相关方法分类准确度如下:

决策树各项参数变化主成分分析SVM_RFE相关性热力图
criterion=‘gini’,splitter=‘best’79.47%79.61%84.13%
criterion=‘entropy’,splitter=‘best’79.46%79.62%84.16%
criterion=‘entropy’,splitter=‘random’79.50%79.60%84.21%
criterion=‘gini’,splitter=‘random’79.47%79.55%84.14%
  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值