牛姐姐-CSDN博客

原创一元回归计算过程

可复制数据集在如下评论第一条！x均值=（300+400+400+550+720+850+900+950）/8=633.75 y均值=（300+350+490+500+600+610+700+660）/8=526.25 求b={(300*300+400*350+400*490+550*500+720*600+850*610+900*700+950*660)-8*633.75*526.25}/{(30...

2018-03-10 21:37:18 2459 1

原创决策树之六：C4.5基本概念

C4.5算法除了拥有前述的ID3算法基本功能外，在其算法中还加入了连续值处理、属性空缺处理等方法。总结来说，C4.5算法在以下几个方面做出了改进： 1）使用信息增益比例而非信息增益作为分裂标准。信息增益比例计算公式如下：在上式中，SplitInf(K)称为分裂信息，它反映了属性数据的延展度与平衡性，计算公式如下：2）处理含有带缺失值属性的样本 C4.5算法在处理缺失数据时最常用的方法是，将这...

2018-03-10 17:26:17 354

原创决策树之五：连续变量计算过程

下面举例说明如何划分，给定数据集如下（数据集来自周志华《机器学习》）可复制数据集在如下评论第一条！对连续属性的处理如下： 1. 对特征的取值进行升序排序给定训练集D和连续属性a，假定a在D上出现了n个不同的取值，先把这些值从小到大排序因此对于数据集中的属性“密度”，决策树开始学习时，根节点包含的17个训练样本在该属性上取值均不同。我们先把“密度”这些值从小到大排序： 0.243...

2018-03-10 16:26:20 5720 4

原创决策树之三：ID3.0算法实例1

假想的银行贷款客户历史（略去了客户姓名），包含14个样本。可复制数据集在如下评论第一条！现要求以这14个样本为训练数据集，以“提供贷款”为类标号属性，用ID3算法构造决策树。第一步，初始数据集信息量设数据集为D.类标号属性“提供贷款”有两个不同值：“是”和“否”，因此有两个不同的类。令C1对应“是”，C2对应“否”，那么C1有9个样本，C2有5个样本，所有数据集D的熵为如下：第二步，分别...

2018-03-04 20:36:11 5218 1

原创决策树之二：信息增益

信息增益到底怎么理解呢？可复制数据集在如下评论第一条！可以求得随机变量X（嫁与不嫁）的信息熵为：嫁的个数为6个，占1/2，那么信息熵为-1/2*log1/2-1/2*log1/2=-log1/2=0.301 现在假如我知道了一个男生的身高信息。身高有三个可能的取值（矮，中，高）矮包括（1，2，3，5，6，11，12），嫁的个数为1个，不嫁的个数为6个中包括（8，9），嫁的个数为...

2018-03-04 20:36:02 554 1

原创决策树之四：ID3.0算法实例2

可复制数据集在如下评论第一条！第1步计算决策属性的熵 S1 （买） = 641 S2（不买）= 383 S= S1+S2 = 1024 P1=641/1024= 0.625976563 P2=383/1024= 0.374023438第二步计算各类属性的熵分类属性共有4个。分别是...

2018-03-04 20:35:49 661 1

原创决策树之一：熵的理解

“熵”的通俗解释我做了两个“直观”的解释，大家请胡乱喷。一.问怎么理解熵？答：（1）我只有1个媳妇，每天晚上只能翻这一个牌子，没得选，这是最确定的事件，没有任何有价值的信息量，所以熵是0；（2）康熙爷有30个媳妇，每天晚上从30个牌子里面任意翻一个，这是最不确定的事件，信息量很混乱，所以熵是ln30；（3）根据（2）的结论，（1）的结论可以认...

2018-03-04 20:35:33 1736

qq52815410的博客