决策树ID3算法-matlab实现

最新推荐文章于 2024-10-03 18:26:13 发布
最新推荐文章于 2024-10-03 18:26:13 发布
阅读量7.7k 收藏 34
点赞数 7
分类专栏： matlab 机器学习算法

ID3_decision_tree.m

%% 使用ID3决策树算法预测销量高低
clear ;

%% 数据预处理
disp('正在进行数据预处理...');
[matrix,attributes_label,attributes] =  id3_preprocess();

%% 构造ID3决策树，其中id3()为自定义函数
disp('数据预处理完成，正在进行构造树...');
tree = id3(matrix,attributes_label,attributes);

%% 打印并画决策树
[nodeids,nodevalues] = print_tree(tree);
tree_plot(nodeids,nodevalues);

disp('ID3算法构建决策树完成！');

id3_preprocess.m

function [ matrix,attributes,activeAttributes ] = id3_preprocess(  )
%% ID3算法数据预处理，把字符串转换为0,1编码

% 输出参数：
% matrix： 转换后的0,1矩阵；
% attributes: 属性和Label；
% activeAttributes : 属性向量，全1；

%% 读取数据
txt = {  '序号'    '天气'    '是否周末'    '是否有促销'    '销量'
        ''        '坏'      '是'          '是'            '高'  
        ''        '坏'      '是'          '是'            '高'  
        ''        '坏'      '是'          '是'            '高'  
        ''        '坏'      '否'          '是'            '高'  
        ''        '坏'      '是'          '是'            '高'  
        ''        '坏'      '否'          '是'            '高'  
        ''        '坏'      '是'          '否'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '否'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '好'      '是'          '是'            '高'  
        ''        '坏'      '是'          '是'            '低'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '是'            '高'  
        ''        '好'      '否'          '否'            '高'  
        ''        '坏'      '否'          '否'            '低'  
        ''        '坏'      '否'          '是'            '低'  
        ''        '坏'      '否'          '是'            '低'  
        ''        '坏'      '否'          '是'            '低'  
        ''        '坏'      '否'          '否'            '低'  
        ''        '坏'      '是'          '否'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '坏'      '否'          '否'            '低'  
        ''        '坏'      '否'          '否'            '低'  
        ''        '好'      '否'          '否'            '低'  
        ''        '坏'      '是'          '否'            '低'  
        ''        '好'      '否'          '是'            '低'  
        ''        '好'      '否'          '否'            '低'  
        ''        '好'      '否'          '否'            '低'  }
attributes=txt(1,2:end);
activeAttributes = ones(1,length(attributes)-1);
data = txt(2:end,2:end);

%% 针对每列数据进行转换
[rows,cols] = size(data);
matrix = zeros(rows,cols);
for j=1:cols
    matrix(:,j) = cellfun(@trans2onezero,data(:,j));
end

end

function flag = trans2onezero(data)
    if strcmp(data,'坏') ||strcmp(data,'否')...
        ||strcmp(data,'低')
        flag =0;
        return ;
    end
    flag =1;
end

id3.m

function [ tree ] = id3( examples, attributes, activeAttributes )
%% ID3 算法 ，构建ID3决策树
    ...参考：https://github.com/gwheaton/ID3-Decision-Tree

% 输入参数：
% example: 输入0、1矩阵；
% attributes: 属性值，含有Label；
% activeAttributes: 活跃的属性值；-1,1向量，1表示活跃；

% 输出参数：
% tree：构建的决策树；

%% 提供的数据为空，则报异常
if (isempty(examples));
    error('必须提供数据！');
end

% 常量
numberAttributes = length(activeAttributes);
numberExamples = length(examples(:,1));

% 创建树节点
tree = struct('value', 'null', 'left', 'null', 'right', 'null');

% 如果最后一列全部为1，则返回“true”
lastColumnSum = sum(examples(:, numberAttributes + 1));

if (lastColumnSum == numberExamples);
    tree.value = 'true';
    return
end
% 如果最后一列全部为0，则返回“false”
if (lastColumnSum == 0);
    tree.value = 'false';
    return
end

% 如果活跃的属性为空，则返回label最多的属性值
if (sum(activeAttributes) == 0);
    if (lastColumnSum >= numberExamples / 2);
        tree.value = 'true';
    else
        tree.value = 'false';
    end
    return
end

%% 计算当前属性的熵
p1 = lastColumnSum / numberExamples;
if (p1 == 0);
    p1_eq = 0;
else
    p1_eq = -1*p1*log2(p1);
end
p0 = (numberExamples - lastColumnSum) / numberExamples;
if (p0 == 0);
    p0_eq = 0;
else
    p0_eq = -1*p0*log2(p0);
end
currentEntropy = p1_eq + p0_eq;

%% 寻找最大增益
gains = -1*ones(1,numberAttributes); % 初始化增益

for i=1:numberAttributes;
    if (activeAttributes(i)) % 该属性仍处于活跃状态，对其更新
        s0 = 0; s0_and_true = 0;
        s1 = 0; s1_and_true = 0;
        for j=1:numberExamples;
            if (examples(j,i)); 
                s1 = s1 + 1;
                if (examples(j, numberAttributes + 1)); 
                    s1_and_true = s1_and_true + 1;
                end
            else
                s0 = s0 + 1;
                if (examples(j, numberAttributes + 1)); 
                    s0_and_true = s0_and_true + 1;
                end
            end
        end

        % 熵 S(v=1)
        if (~s1);
            p1 = 0;
        else
            p1 = (s1_and_true / s1); 
        end
        if (p1 == 0);
            p1_eq = 0;
        else
            p1_eq = -1*(p1)*log2(p1);
        end
        if (~s1);
            p0 = 0;
        else
            p0 = ((s1 - s1_and_true) / s1);
        end
        if (p0 == 0);
            p0_eq = 0;
        else
            p0_eq = -1*(p0)*log2(p0);
        end
        entropy_s1 = p1_eq + p0_eq;

        % 熵 S(v=0)
        if (~s0);
            p1 = 0;
        else
            p1 = (s0_and_true / s0); 
        end
        if (p1 == 0);
            p1_eq = 0;
        else
            p1_eq = -1*(p1)*log2(p1);
        end
        if (~s0);
            p0 = 0;
        else
            p0 = ((s0 - s0_and_true) / s0);
        end
        if (p0 == 0);
            p0_eq = 0;
        else
            p0_eq = -1*(p0)*log2(p0);
        end
        entropy_s0 = p1_eq + p0_eq;

        gains(i) = currentEntropy - ((s1/numberExamples)*entropy_s1) - ((s0/numberExamples)*entropy_s0);
    end
end

% 选出最大增益
[~, bestAttribute] = max(gains);
% 设置相应值
tree.value = attributes{bestAttribute};
% 去活跃状态
activeAttributes(bestAttribute) = 0;

% 根据bestAttribute把数据进行分组
examples_0= examples(examples(:,bestAttribute)==0,:);
examples_1= examples(examples(:,bestAttribute)==1,:);

% 当 value = false or 0, 左分支
if (isempty(examples_0));
    leaf = struct('value', 'null', 'left', 'null', 'right', 'null');
    if (lastColumnSum >= numberExamples / 2); % for matrix examples
        leaf.value = 'true';
    else
        leaf.value = 'false';
    end
    tree.left = leaf;
else
    % 递归
    tree.left = id3(examples_0, attributes, activeAttributes);
end
% 当 value = true or 1, 右分支
if (isempty(examples_1));
    leaf = struct('value', 'null', 'left', 'null', 'right', 'null');
    if (lastColumnSum >= numberExamples / 2); 
        leaf.value = 'true';
    else
        leaf.value = 'false';
    end
    tree.right = leaf;
else
    % 递归
    tree.right = id3(examples_1, attributes, activeAttributes);
end

% 返回
return
end

参考：
http://blog.csdn.net/lfdanding/article/details/50753239

yanxiaopan
关注
专栏目录
浅谈决策树算法以及matlab实现ID3算法
lfdanding的专栏
02-27 4万+
决策树方法在分类、预测、规则提取等领域有着广泛的应用。在20世纪70年代后期和80年代初期，机器学习研究者J.Ross Quinilan提出了ID3算法以后，决策树在机器学习、数据挖掘领域得到极大的发展。Quinilan后来又提出了C4.5，成为新的监督学习算法。1984年几位统计学家提出了CART分类算法。ID3和ART算法大约同时被提出，但都是采用类似的方法从训练样本中学习决策树的。决策树是一树
决策树之ID3的matlab实现
a__12345_的博客
02-18 1917
决策树是什么？决策树当然顾名思义用来做决策。怎么决策？以树状的形式来表示逻辑的一种决策过程。既然是一棵树，必然有树枝，那么把树枝的分叉表示我们的一种划分，来判断往哪个树枝继续前进。决策树有以下部分组成：（1）根节点：即为决策树的起点（2）分支点：属于内部节点，所谓分支就是要选择一个某一个特征或者属性（3）内部节点：包括根节点和分支点，通常取样本的大部分（4）叶节点：即为决策树的终点，决定了因变量分类的标签ID3为迭代二叉树3代，ID3算法实际上是一种贪心算法，用来构造决策树。
基于ID3的决策树数据分类matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
07-13 425
ID3（Iterative Dichotomiser 3）算法是由Ross Quinlan在1986年提出的一种决策树构建算法，主要用于数据分类问题。ID3算法基于信息论中的信息增益准则来选择最佳的特征进行决策树的分裂，其目的是在每次划分时，最大程度地减少数据集中的不确定性，或者说，最大化信息增益。
构建ID3决策树的算法代码 核心部分详细讲解
最新发布
u013172930的博客
10-03 904
本文封装了一个构建ID3决策树的基本方法的算法类，并对每个部分每行代码进行了详细周到的讲解，包括：定义决策树节点类；定义参数变量，包括数据集、特征集、标签和根结点；构建树的调用；树的构建递归方法
ID3决策树-MATLAB程序
09-22
1.亲测MATLAB2014a及2016a可运行 2.拥有从训练树到测试树分类性能的完整流程
决策树id3 matlab源码
04-28
使用matlab实现id3决策树算法，给出使用方法及举例，并附带相关测试集合。
ID3算法 matlab代码实现
12-27
对于决策树来说,主要有两种算法:ID3算法和C4.5算法,本资源实现的是决策树分类算法中的ID3算法，利用matlab编程实现
决策树ID3算法matlab源代码
05-27
决策树ID3算法matlab源代码片段 function [Tree RulesMatrix]=DecisionTree(DataSet,AttributName) %输入为训练集，为离散后的数字，如记录1：1 1 3 2 1； %前面为属性列，最后一列为类标 if nargin<1 error('请输入数据集'); else if isstr(DataSet) [DataSet AttributValue]=readdata2(DataSet); else AttributValue=[]; end
ID3决策树算法-iris数据集-matlab实现-决策树绘制
09-03
此程序主要实现对数据的加载和处理，首先加载数据，本...然后对数据创建决策树，结果存储于结构体中，后计算算法的准确率。最后将结构体数据转换成元胞数据，转换成treeplot系统函数能识别的数据形式，并绘制决策树。
Matlab实现决策树算法
02-27
Matlab实现决策树算法，使用ID3_2函数并设计了十指交叉验证，可显示每一次的模型精度。资源提供类一个数据集用于模型训练，将之直接替换为自己的数据即可运行。最终的决策树建立结果以画图的形式表示，并且为每一类...
ID3的matlab实现
06-25
ID3的matlab实现
ID3算法matlab
06-03
本算法是ID3算法的matlab版本，配有测试数据
ID3算法MATLAB实现，机器学习作业
06-05
ID3算法，使用熵最小策略构建决策树，MATLAB实现代码。对应中科大机器学习课程中ID3算法实现.
数据挖掘id3算法matlab实现
02-26
id3算法利用matlab语言进行实现，简单对数据进行划分。
决策树算法 matlab实现
05-15
决策树算法matlab实现，构造分类决策树并用决策树对模式进行分类识别
用matlab实现决策树算法,机器学习-ID3决策树算法（附matlab/octave代码）
weixin_31898831的博客
03-16 4497
ID3决策树算法是基于信息增益来构建的，信息增益可以由训练集的信息熵算得，这里举一个简单的例子data=[心情好 天气好 出门心情好 天气不好 出门心情不好 天气好 出门心情不好 天气不好 不出门]前面两列是分类属性，最后一列是分类分类的信息熵可以计算得到：出门=3，不出门=1，总行数=4分类信息熵= -(3/4)*log2(3/4)-(1/4)*log2(1/4)第一列属性有两类，心情好，心...
matlab id3决策树,matlab实现的ID3分类决策树算法
weixin_42608318的博客
03-22 1149
《matlab实现的ID3分类决策树算法》由会员分享，可在线阅读，更多相关《matlab实现的ID3分类决策树算法(4页珍藏版)》请在人人文库网上搜索。1、function D = ID3(train_features, train_targets, params, region) % Classify using Quinlans ID3 algorithm% Inputs:% features...
决策树算法 MATLAB 简单实现
热门推荐
healingwounds的博客
10-24 2万+
决策树算法 前言 最近在数据挖掘与机器学习的课程上刚刚学到了决策树算法，于是，想自己用 MATLAB 简单实现一下。虽然拿其中最简单算法的进行实现，但是，从构思–编写–初步完成，也花费了不少时间，毕竟只有动手编写，才能真正体会到算法的内涵。 文章目录决策树算法前言1 算法流程2 程序设计3 MATLAB 中的调用4 Python 中的调用 1 算法流程 通过阅读机器学习的书籍首先了解决策树算法的基...
实现一个基于id3算法的决策树分类器
06-28
### 回答1： 基于ID3算法的决策树分类器实现步骤如下： 1. 收集数据集，包括特征和分类标签。 2. 计算数据集的熵，用于衡量数据集的无序程度。 3. 针对每个特征，计算信息增益，选择信息增益最大的特征作为节点。 4. 将数据集按照选择的特征分成不同的子集，递归地构建决策树。 5. 当所有特征都被使用或者数据集已经完全分类时，停止递归。 6. 对新数据进行分类，根据决策树的规则进行分类。 需要注意的是，ID3算法有可能会出现过拟合的情况，因此可以采用剪枝等方法来提高决策树的泛化能力。 ### 回答2： ID3算法是一种经典的分类算法，可以通过计算经验熵来构建决策树。在实现基于ID3算法的决策树分类器时，需要进行以下步骤。 1. 数据准备 首先需要准备好训练数据。数据应该包括若干个样本，每个样本包含若干个特征和一个类别标签。 2. 计算信息熵 使用信息熵来衡量数据的混乱程度。信息熵的公式为：$H = -\sum_{i=1}^k p_i \log_2 p_i$，其中$p_i$是某个类别在所有样本中出现的概率。 3. 计算信息增益 信息增益衡量某个特征对分类的贡献程度。信息增益的公式为：$Gain(A) = H(D) - \sum_{v=1}^V \frac{|D_v|}{|D|}H(D_v)$，其中$A$是某个特征，$D$是所有样本，$D_v$是某个特征取某个值时的样本。计算每个特征的信息增益，找到信息增益最大的特征。 4. 构建决策树 将信息增益最大的特征作为当前节点的分裂特征。将所有样本按照该特征的取值分成若干个子集。对每个子集递归调用上述步骤，直到无法分割或者达到某个条件时停止递归。 5. 预测 对于新的数据样本，根据决策树进行分类。从根节点开始，根据各个特征的取值不断向下遍历，直到到达叶子节点，叶子节点的类别即为预测结果。 以上是基于ID3算法实现决策树分类器的主要步骤。在实际应用中，还需要考虑如何处理缺失数据、如何剪枝优化等问题。此外，也可以使用其他决策树算法，如C4.5和CART等。 ### 回答3： —————————————分割线—————————————— 决策树是机器学习领域中重要的算法之一，它可以将数据集合分成可辨识别的不同类别，适用于二分类和多分类问题。而ID3算法是其中被广泛应用的一种决策树算法，它的主要核心是通过信息增益来分裂数据集合，得到高准确率。 实现基于ID3算法的决策树分类器的主要思路可以概括为： 1. 选取一个最优的特征，将数据集划分为若干个子集，使得节点上的样本分类纯度更高。通常采用信息增益或信息增益比来选择最优特征。 2. 不断调用递归函数，从根节点开始构建决策树。 3. 对于每个子集，如果该集合中的样本已经被完全划分为同一类别，或者集合为空，则对应的节点标记为叶子节点，并标注该节点的分类类别。 4. 否则，继续选择最优特征，将该子集继续划分为更小的子集。 实现ID3算法的代码框架可以参考以下伪代码： function ID3(DataSet) if (DataSet.samples all belong to same class)： return a leaf node with the class as label else if(DataSet.features are empty)： return a leaf node with the majority class as label else bestFeat = choose the feature with maximum information gain tree = a new decision tree with root node as bestFeat divide DataSet into subsets according to bestFeat for each subset add a branch to tree with ID3(subset) end for end if return tree end function 其中，信息增益的计算方式为： $Gain(D, A) = Ent(D) - \sum_{v=1}^V \frac{|D^v|}{|D|} Ent(D^v)$ 其中，$D$为数据样本集合，$A$为要进行划分的特征集合，$D^v$为集合$D$划分后属于$A$中特征值为$v$的子集合，$Ent$为样本不确定性度量函数。 通过ID3算法实现的决策树分类器在处理张量数据时存在着一些困难之处，这时，可以将高维张量数据投影到低维度空间中使用ID3算法进行分类。这样可以降低特征数量对分类器效果的影响，从而提高计算效率和精度。 在实际应用中，ID3算法的效果受到很多因素的影响，如数据集质量、特征选择和树的剪枝方法等。因此，在使用中需要对其进行不断的优化和改进，以获得更好的分类效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值