basic_classification

最新推荐文章于 2022-07-27 11:10:46 发布
最新推荐文章于 2022-07-27 11:10:46 发布
阅读量597 收藏 3
点赞数
分类专栏： Data mining 亨特 基尼指数与熵
原文链接：https://www-users.cs.umn.edu/~kumar001/dmbook/
版权

1. 分类的定义

     给定一个训练集

     ---每条记录的特征用元组(x, y)表示，其中x是属性集，y是类标签。

        x：可以是，属性，预测变量，自变量，输入

        y：类，响应，因变量，输出

    任务：学习一个模型，这个模型将每一个属性集x映射到一个预定义类标签y

                                    

                                                      图1：建立分类模型的一般方法                   

 

 

 

                                                            图2：一个决策树例子

2. 亨特算法--递归法（最早的分类算法之一）

  • 选择结果类Dt作为训练集的起点。

  • 如果Dt包含的结果属于同一个类别yt，那么t就是被标记为yt的一个叶子结点。

  • 如果Dt包含的结果有多个类别，就使用一个属性测试把数据分成更小的子集。整个子集递归执行这个过程。
IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
1YesSingle125KNo
2NoMarried100KNo
3NoSingle70KNo
4YesMarried120KNo
5NoDivorced95KYes
6NoMarried60KNo
7YesDivorced220KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

                                                               表1：违约借款人

 

                                                                 图3：亨特算法流程 

这张图的意思是：

（a）选择结果类Defaulted Borrower为树根，其中No和Yes的个数是（7,3），很明显这里面有两个类别，Yes和No。所以要继续往下分，选择其他的属性集。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
1YesSingle125KNo
2NoMarried100KNo
3NoSingle70KNo
4YesMarried120KNo
5NoDivorced95KYes
6NoMarried60KNo
7YesDivorced220KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

（b）选择属性Home Owner来替换Defaulted Borrower。它也有两个类别Yes和No，当Home Owner=Yes的时候，选中了3条记录。而这3条记录的Defaulted Borrower=No（3,0），便将Defaulted Borrower作为叶子结点，无需再递归。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
1YesSingle125KNo
2NoMarried100KNo
3NoSingle70KNo
4YesMarried120KNo
5NoDivorced95KYes
6NoMarried60KNo
7YesDivorced220KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

 而剩下的7条Home Owner=No的情况，他们之中Defaulted Borrower仍然有两种类别（4,3），所以仍需继续分下去。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
2NoMarried100KNo
3NoSingle70KNo
5NoDivorced95KYes
6NoMarried60KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

 （c）将属性Marital Status加入子结点中，这里是名词性的属性，有3类，选择二分法，Single和Divorced按照常识都是单身，分为一种，而Married成为另一种。而Marital Status=Married的人，无一例外Defaulted Borrower=No（3,0），所以可以单独成为叶子结点。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
2NoMarried100KNo
3NoSingle70KNo
5NoDivorced95KYes
6NoMarried60KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

 而Matital Status=Single, Divorced的时候，Defaulted Borrower=No，Yes（1,3），所以仍然需要继续分。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
2NoMarried100KNo
3NoSingle70KNo
5NoDivorced95KYes
6NoMarried60KNo
8NoSingle85KYes
9NoMarried75KNo
10NoSingle90KYes

 （d）只剩下最后一个属性Annual Income了，这个是数值型的属性，需要找到临界点，使用二分法，把80K选做临界点可以将它们分开。<80K的均不违约，>80K的均违约。

IDHome OwnerMarital StatusAnnual IncomeDefaulted Borrower
3NoSingle70KNo
5NoDivorced95KYes
8NoSingle85KYes
10NoSingle90KYes

这时结果就很明显了，将其分为（0,1）和（3,0）两个子树。Defaulted Borrower均为单一类别。

总结一下，其实这个算法的意思就是，先选Defaulted Borrower作为树节点，但是存在两种类别（7,3），不能一定确认分类结果，所以继续看是否为Home Owner，当Home Owner=Yes时，Defaulted Borrower=No（3,0），但是当其=No时，Defaulted Borrower仍存在两种类别（4,3）；所以继续看Marital Status，当其=Married时，Defaulted Borrower=No（3,0），但当其=Yes时，Defaulted Borrower仍存在两种类别（1,3）；所以继续看Annual Income，当其<80K时，Defaulted Borrower=No（1,0），当其>=80K时，Defaulted Borrower=Yes（0,3），均为单一类别。这样就完成了所有记录的分类。

3. 决策树归纳的设计问题

  • 如何拆分训练集？

-指定测试条件（取决于属性类型）

-评估测试条件是否良好

  • 如何终止拆分进程？

-所有记录属于同一类或具有相同的属性值

-提前终止

4. 测试条件的表示方法

  • 取决于属性类型（二元Binary，名词性词Nominal，有序型Ordinal，连续型Continuous）
  • 取决于拆分方式（2路拆分2-way split，多路拆分multi-way split）

4.1 名词性属性的测试条件

4.2 有序属性的测试条件 

 4.3 连续属性的测试条件

基于连续属性的拆分有两种方法：（1）离散化形成有序的分类属性，静态：一开始就离散化；动态：每一个结点都重复这个过程（2）二分法：（A<v）or（A>v），找到所有可能的拆分点，并寻找其最优；计算量会很大。

5. 如何决定最佳拆分？

  •  贪婪法：纯度更高的分布的结点被优先选取
  • 需要结点的杂质值
  • 介绍增益值Gain：计算拆分前的杂质值（P）；计算拆分后的杂质值（M）；分别计算每个子节点的杂质值再按加权累加即可；选择能使Gain=P-M达到最大的属性测试条件。或者说，拆分后杂质值最小。

5.1 结点杂质值的测量方法---Gini Index（基尼指数）

                                                                           Gini Index = 1-\sum_{i=0}^{c-1}pi(t)^{2}     

这里pi(t)是结点t上类别i的频率，c是类别总数。

  • 最大值为1-1/c，这时每一种类别的分布都相等，是分类的最差结果，杂质最高。
  • 最小值为0，这时所有记录都属于同一类别，是分类的最好结果，杂质最低。

                                                     图4 计算单一结点的基尼指数

5.1.1 分类属性计算基尼指数

变种：

                                                                           GINI_{split} = \sum_{i=1}^{k} \frac{n_{i}}{n}GINI(i)

这里n_{i}=子节点i的记录个数，n=父节点的记录个数。选择使孩子结点的加权基尼指数最小的属性。

                                                      图5  计算结点组的基尼指数

5.1.2 连续属性计算基尼指数的方法

为了提高计算效率：对每个节点采取如下措施：

  • 按值给属性排序
  • 线性浏览这些值，每一次更新矩阵值并计算基尼指数
  • 选择基尼指数最低的分割位置。

                                                          图6 计算连续属性的基尼指数

 

5.2 结点杂质值的测量方法---熵Entropy

                                                                     Entropy=-\sum_{i=0}^{c-1}p_{i}(t)log_{2}p_{i}(t)                            

这里p_{i}(t)是类i在结点t的频率，c是类的总数。

  • 最大值是log_{2}c：此时记录的所有类别均匀分布，代表分类的最差情况。
  • 最小值是0：此时所有记录均属于同一类别，代表分类的最好情况。
  • 熵计算和基尼指数计算很类似

                                                           图7 单一结点的熵计算

5.3 结点杂质值的测量方法---分类错误Classification Error

                                                                    Error(t)=1-max_{i}[p_{i}(t)]

  • 最大值是1-1/c：此时这时每一种类别的分布都相等，是分类的最差结果。
  • 最小值是0：此时所有记录均属于同一类别，代表分类的最好情况。

                                              图8 单一结点计算分类错误值

6. 比较以上杂质测量方法

 

                                                       图9 二分法问题的杂质值结果

6.1 Misclassification Error vs Gini Index 

这两张图的大概意思就是分类方法变化了，Gini指数跟着变，但是分类错误值并没有跟着变，而熵和Gini指数很类似，所以第三种方法一般不用。

7. 基于决策树的分类优缺点

  • 优点：

（1）易于构造

（2）分类未知记录时速度极快

（3）易于解释小型树

（4）抗噪能力强大（尤其是在采用避免过度拟合的方法时）

（5）可以轻松处理冗余或不相关的属性（除非属性进行交互）

  • 缺点：

（1）可能的决策树的空间成倍增加。 贪心法通常无法找到最好的树。

（2）不考虑属性之间的交互

（3）每个决策边界仅涉及一个属性

 

 

 

LangWeiXian_
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器篇——决策树(二) 细说 Hunt 算法(卡方检验)
天下所弃，不过其纪。世间事，在人，在志。
01-04 3830
返回主目录 返回决策树目录 上一章：机器篇——决策树(一) 下一章：机器篇——决策树(三) 本小节，细说Hunt 算法(卡方检验)，下一小节开始细说 ID3 算法。 二. 算法细说 1. 决策树的起源 hunt 算法是许多决策树算法的基础，包括 ID3、C4.5、CART等。Hunt 算法通过递归方式建...
决策树算法
qq_39110198的博客
12-29 2136
决策树的起源： 1、最早的决策树算法是由Hunt等人于1966年提出，Hunt算法是许多决策树算法的基础，包括ID3、C4.5和CART等 2、Hunt算法通过将训练记录相继划分为较纯的子集，以递归方式建立决策树。设Dt是与结点t相关联的训练记录集，而y = { y1, y2, …, yc}为类标号 3、Hunt算法的递归定义如下： （1）如果Dt中所有的记录都属于同一个类yt，则结点t是...
决策树的起源——Hunt算法
热门推荐
Zerokas的博客
04-09 1万+
最早的决策树算法是由Hunt等人于1966年提出，Hunt算法是许多决策树算法的基础，包括ID3、C4.5和CART等，本文以Hunt算法为例介绍决策树算发的基本思想及决策树的一些设计问题。 Hunt算法 Hunt算法通过将训练记录相继划分为较纯的子集，以递归方式建立决策树。设Dt是与结点t相关联的训练记录集，而y = { y1, y2, …, yc}为类标号，Hunt算法的递归定义如下： ...
阈值分割图像质量评价方法
A2460865183的博客
05-08 2103
分割质量评价指标 1 Misclassification error (误分割错误） 误分类错误(ME)的标准是衡量分割的性能的方法之一。ME是根据图像与人类观察的相关性来定义的。它对应的是错误分配给前景的背景像素的比例，反之亦然。 ME=1−∣BO∩BT∣+∣FO∩FT∣∣BO∩FO∣ME = 1-\dfrac{{\vert}B_O{\cap}B_T{\vert}+{\vert}F_O{\cap}F_T{\vert}}{{\vert}B_O{\cap}F_O{\vert}}ME=1−∣BO​∩FO​∣∣B
机器学习笔记03_决策树
吴明磊的博客
03-17 352
预测过程： 当构建好一个判断模型后，新来一个用户(样本)后，可以根据构建好的模型直接进行判断，过程如上图，比如新用户特性为：无房产、单身、年收入55K，那么根据判断得出该用户无法进行债务偿还。这种决策对于借贷业务有比较好的指导意义。 训练过程： 先搞清楚几个概念。 1. 数学期望： 离散型随机变量的一切可能的取值xi与对应的概率P(xi)之积的和称为该离散型随机变量...
吴恩达机器学习[11]-机器学习性能评估、机器学习诊断
踏归 的博客
07-27 576
吴恩达机器学习
chap3_basic_classification.pdf
05-18
自己看的时候写了一点注释，解释不会的单词啥的，看起来会稍微轻松一点。详见https://www-users.cs.umn.edu/~kumar001/dmbook/
basic_Car_and_human_classification:汽车和人的二进制分类
04-02
➢车辆和人员检测 在我的实现中，我使用了深度学习方法来进行图像识别。 具体来说，是卷积神经网络（CNN）来识别图像。 但是，当前的任务不仅是检测车辆的存在，而且还指向车辆的位置。 事实证明，CNN也适用于此类...
svm_classification.ipynb
01-18
使用libsvm实现文本分类
svm.rar_BASIC pdf_it
09-22
Describe: the basic of svm(classification). Found it helpful
Basic_CNNs_TensorFlow2：一些基本CNN的tensorflow2实现（MobileNetV1V2V3，EfficientNet，ResNeXt，InceptionV4，InceptionResNetV1V2，SENet，SqueezeNet，DenseNet，ShuffleNetV2，ResNet）
02-06
Basic_CNNs_TensorFlow2 一些基本CNN的tensorflow2实现。包括的网络： MobileNet_V1 MobileNet_V2 SE_ResNet_50，SE_ResNet_101，SE_ResNet_152，SE_ResNeXt_50，SE_ResNeXt_101 挤压网ShuffleNetV2 RegNet其他网络...
机器学习（十）偏差和方差问题
weixin_53312629的博客
01-28 1008
本文主要介绍了偏差和方差问题以及判断这些问题用的方法以及这些概念的含义。首先提供了一些可以改进算法性能的方法。随后在评估假设中通过将数据集分割成两部分来进行训练和测试；在模型选择问题中则通过分割成三部分来进行训练和测试。在诊断偏差与方差中，通过交叉验证误差和训练误差在不同多项式次数下的大小关系来区分高偏差和高方差。为了进一步解决过拟合问题，选择对模型进行正则化处理，其关键在于确定合适的正则化参数。学习曲线可以用来检查算法运行是否一切正常或者改进算法的表现。最后回顾了开始提到的几种方法，进一步对其进行了区分。
决策树
Doris12138lucky的博客
05-25 455
机器学习---1 分类篇决策树1. summary2.主要流程3. 核心问题3.1 如何决定测试条件的分配3.2 贪心的策略:总结3.2.1 GINI3.2.2Entropy3.2.3 Misclassification error何时停止划分结点? 决策树 1. summary 优点: 1.计算复杂度不高 2.输出结果易于结束, 3.对中间值不敏感,可以处理不相关特征数据 缺点:易产生过拟合现象 适用数据类型:数值型和标称型 2.主要流程 1: 收集数据
决策树算法一：hunt算法，信息增益（ID3）
AI学习笔记
02-02 6602
决策树入门 决策树是分类算法中最重要的算法，重点 决策树算法在电信营业中怎么工作？为什么叫决策树？ 因为树的叶子节点是我们最终预判的结果。 决策树如何来？ 根据训练样本建立。 问题1：为什么费用变换率放第一个？ 根据特征建决策树，会有n棵树，找出最优树。 问题2：当我们特征是连续值的时候，到底从哪里开始切分？ 连续值要改为离散的。 问题3：决策树能不能做回归 决策树例子： 不同的决策树对我们判定的...
Tensorflow 入门级Hellow World (basic classification)
WuDong
01-15 316
上一篇帖子：ubuntu16.04使用Anaconda3安装Tensorflow 本篇，按照Google TensorFlow 教程实现Basic Classification Demo.原文链接： https://www.tensorflow.org/tutorials/keras/basic_classification#Preprocess%20the%20data 1.查看env环境...
属性选择方法小结
yujianmin1990的专栏
09-04 4136
事物的属性从多个角度描述了事物，然而有的属性对于我们的目标是不重要的，或者起了反作用，这就需要我们从众多属性中，把这些捣蛋分子识别出来，保留下好用的属性。本文对属性选择做一下简单的总结，以备自己查询~
经典的机器学习模型（贰）
白日梦想家
09-26 1299
决策树 ID3 算法的核心问题是选取在树的每个结点要测试的属性。我们希望选择的是最有 助于分类实例的属性。那么衡量属性价值的一个好的定量标准是什么呢?这里将定义一 个统计属性，称为“信息增益(information gain)”，用来衡量给定的属性区分训练样例 的能力。ID3 算法在增长树的每一步使用这个信息增益标准从候选属性中选择属性。 熵（Entropy） 所有可能结果的信息量的总和组成熵。信...
Error in classification
白·簡單【SAP 白·草集】
05-14 3865
今天修改了IDES中的PO/合同审批策略，原先Release Groups里的Class为FRG_EKKO，使用以下4个字段作为特性： Document type 凭证类型 Purchasing organization 采购组织 Purchasing group 采购组 Total net order value 订单总净额 现拷贝原来的新建了一个class为FRG_EKKO
use python to programing a garbage classification program
最新发布
04-02
As an AI language model, I don't have the capability to write a full-fledged program in Python. However, I can provide some guidance on how you can program a garbage classification program in Python. 1. Collect Data: The first step is to collect and label the images that you will use to train your model. You can use online datasets or create your own. 2. Preprocess the Data: You need to preprocess the data by resizing the images, normalizing the pixel values, and splitting the data into training and testing sets. 3. Build the Model: You can use different deep learning frameworks such as TensorFlow or PyTorch to build your garbage classification model. You can use pre-trained models such as ResNet or VGGNet as a starting point. 4. Train the Model: You need to train the model on the training data by feeding the images into the model and adjusting the weights to minimize the loss. 5. Evaluate the Model: You need to evaluate the model on the testing data to see how well it performs. You can calculate metrics such as accuracy, precision, recall, and F1 score. 6. Use the Model: Once you have trained and evaluated the model, you can use it to classify new images of garbage. Here is some sample code to get you started: ``` import tensorflow as tf from tensorflow.keras.preprocessing.image import ImageDataGenerator # define data directories train_dir = 'path/to/training/data' test_dir = 'path/to/testing/data' # define data generators train_datagen = ImageDataGenerator(rescale=1./255) test_datagen = ImageDataGenerator(rescale=1./255) # define batch size and image size batch_size = 32 img_size = (224, 224) # define training and testing data generators train_generator = train_datagen.flow_from_directory( train_dir, target_size=img_size, batch_size=batch_size, class_mode='categorical') test_generator = test_datagen.flow_from_directory( test_dir, target_size=img_size, batch_size=batch_size, class_mode='categorical') # define the model model = tf.keras.applications.ResNet50( include_top=True, weights=None, input_shape=(224, 224, 3), classes=6) # compile the model model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy']) # train the model model.fit(train_generator, epochs=10, validation_data=test_generator) # evaluate the model model.evaluate(test_generator) ``` This is just a basic example of how you can build a garbage classification program in Python. You can modify and improve the model according to your specific requirements.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值