cart剪枝，罚项系数a讨论

最新推荐文章于 2020-08-20 23:11:52 发布
最新推荐文章于 2020-08-20 23:11:52 发布
阅读量426 收藏 1
点赞数
分类专栏： 机器学习_笔记&心得
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Qin_Mio_Chaos/article/details/47447419
版权

损失函数：

Ca(T)=C(T)+a|T|

C(T)：训练误差

a|T|：罚项，树的大小


《统计学习方法》一书提到，计算各节点的a阈值，当a超过某节点阈值，则选择对该节点剪枝。


a= C（t）-C(Tt) /

|Tt|-1


可见a由届时的树计算决定



首先：每次只能计算叶节点的父节点 所对应的a值？？？


如上图，直接计算C节点的a值 与 在B节点完成剪枝后，计算C节点的a值 两个值是不同的，在计算式中也可得出此结论。


其次，是否可以直接对C进行剪枝？若D子树未完成剪枝？


出现这种情况的前提是在一次计算中a(c)<a(d)


卒


qinmiochaos
关注
专栏目录
正则化项L1和L2的区别
quanhujing的专栏
08-04 1542
一、概括： L1和L2是正则化项，又叫做罚项，是为了限制模型的参数，防止模型过拟合而加在损失函数后面的一项。 二、区别： 　　1.L1是模型各个参数的绝对值之和。 　　　L2是模型各个参数的平方和的开方值。 　　2.L1会趋向于产生少量的特征，而其他的特征都是0. 　　　 因为最优的参数值很大概率出现在坐标轴上，这样就会导致某一维的权重为0 ，产生稀疏权重矩阵 　　 L2会选择更多的特征，这些特征都会接近于0。 最优的参数值很小概率出现在坐标轴上，因此每一...
数据挖掘十大算法之CART详解
白马负金羁
11-23 5万+
在2006年12月召开的 IEEE 数据挖掘国际会议上，与会的各位专家选出了当时的十大数据挖掘算法（ top 10 data mining algorithms ），本博客的十大数据挖掘算法系列文章已经介绍了其中的六个，本文主要讨论CART，即分类回归树（Classification And Regression Tree），一个具体的例子将帮助大家更好地理解相关内容
CART剪枝算法详解
tian_tian_hero的博客
01-09 1万+
CART剪枝算法 CART剪枝算法从“完全生长“的决策树的底端剪去一些子树，使决策树变小（模型变简单），从而能够对未知数据有更准确的预测。CART剪枝算法由两步组成：首先从生成算法产生的决策树T0底端开始不断剪枝，直到T0的根节点，形成一个子树序列{T0,T1 ,…, Tn}；然后通过交叉验证法在独立的验证数据集上对子树序列进行测试，从中选择最优子树。 1． 剪枝，得到子树序列 子树的损失函数： ...
深度学习（九）正则化惩罚项
QuinnHanz的博客
05-31 3万+
在机器学习特别是深度学习中，我们通过大量数据集希望训练得到精确、泛化能力强的模型，对于生活中的对象越简洁、抽象就越容易描述和分别，相反，对象越具体、复杂、明显就越不容易描述区分，描述区分的泛化能力就越不好。 比如，描述一个物体是“方的”，那我们会想到大概这个物体的投影应该是四条边，两两平行且垂直，描述此物体忽略了材质、质量、颜色等等的性状，描述的物体的多，相反，描述的内容...
[机器学习] 惩罚项 regularization
liudiudiu
09-10 7135
會出現overfitting，而當網絡逐漸overfitting時網絡權值逐漸變大，因此，為了避免出現overfitting,會給誤差函數添加一個懲罰項，常用的懲罰項是所有權重的平方乘以一個衰減常量之和。其用來懲罰大的權值。 给某一层添加称惩罚项...
GLM(广义线性模型) 与 LR(逻辑回归) 详解
热门推荐
段哥哥的博客
07-21 6万+
本文对 GLM 广义线性模型 与 Logistic Regression 逻辑回归 相关话题进行了相对深入全面的解析，并提供大量数学证明。
机器学习系列（2）——CART算法
从此醉
08-20 8959
CART（Classification and Regression Tree，分类与回归树）算法
决策树算法总结（下：CART决策树）
ch18328071580的博客
08-11 1075
本文详细总结了CART树，包括了CART分类树和CART回归树，给出了相关的推导和思想，然后重点介绍了决策树的剪枝，最后总结了决策树的优缺点。
CART分类与回归
sir_TI的博客
04-21 1849
CART分类树与回归树 前记 本篇文章不会大幅度去介绍CART是怎么来的，以及CART与其他不同的地方，但是会着重的讲解在面试过程中遇到的问题，知识点的话会简单点的温习一下,本文是按照博主学习CART的过程俩编写，本文假设读者已经知道了ID3已经C4.5算法，若写的有问题，请指出，谢谢. 1. 为什么会有CART 我们已经知道在ID3中，我们是使用信息增益去作为分类的基准的，在现场面试中，面试官曾...
决策树算法原理(CART分类树) - 做梦当财神 - 博客园1
08-03
本文主要讨论的是**CART(Classification and Regression Tree)**算法，它是ID3和C4.5算法的改进版本，能够处理分类和回归问题。 **CART分类树**算法的核心在于**最优特征选择**。在ID3中，特征的选择基于**信息增益...
惩罚项的意义-为什么有惩罚项？
qq_41394324的博客
06-02 1万+
从我们的假设函数，我们可以降低权重，在函数中增加一些项来增加他们的成本。 比如我们要使下面的函数二次项的权重增大： 我们要减小θ3x3和θ4x4的影响。实际上，如果不排除这些特性或改变我们假设的形式，我们可以修改我们的成本函数： 我们已经对最后的θ3和θ4增加了额外的成本。现在，为了使成本函数尽量的接近0，我们将不得不减少θ3和θ4值使他们接近零。 这将大大地减少θ3x3和θ4x4再成本函数中...
L1惩罚项和L2惩罚项
zlrai5895的博客
12-10 1万+
            x即为参数。 L2正则化参数 从公式5可以看到，λλ越大，θjθj衰减得越快。另一个理解可以参考图2，λλ越大，L2圆的半径越小，最后求得代价函数最值时各参数也会变得很小。...
约束优化问题的罚函数求解方法
LSEC小陆的博客
06-03 2万+
约束优化问题的罚函数求解方法（外罚） 惩罚函数法是求解有约束的最优化问题的一种算法。 惩罚函数法的要旨是将一个有约束的最优化问题转化为一系列的无约束问题；这些无约束问题由原问题及罚函数，再加上惩罚因子组成；而且，这些无约束问题的解会收敛于所求问题的解。 算法和步骤 程序和示例 写一个程序用罚函数方法求解： 计算前两部迭代的结果，也就是x1x1x_1和x2x2...
惩罚因子（penalty term）与损失函数（loss function）
weixin_30342209的博客
12-06 2185
penalty term 和 loss function 看起来很相似，但其实二者完全不同。 惩罚因子： penalty term的作用是把受限优化问题转化为非受限优化问题。 比如我们要优化： min f(x) = $x^2 - 10x$ x 受限于 g(x) = x -3 <= 0 我们可以利用惩罚因子，将上述问题转化为非受限约束问题，也就是拿掉g(x)的限制。 函数变...
拉格朗日乘子法、罚函数法、乘子罚函数法
lmm6895071的专栏
10-24 4万+
拉格朗日乘子法 1 无约束问题 2 等式约束问题 3 不等式约束问题KTT条件 罚函数法 1 定义 2 内罚函数法 3 外罚函数法 增广拉格朗日乘子法 1 定义 2 求解 本文简单总结一些相关概念，具体证明以后再补充； 1. 拉格朗日乘子法 2. 罚函数法：外罚函数与内罚函数法 3. 增广拉格朗日乘子法 1. 拉格朗日乘子法1.1 无约束问题无约束问题，定义为 minf(x)\
pagerank收敛原因
Qin_Mio_Chaos的博客
07-28 1801
迭代公式 X=(1-a) x E+axRxX 其中a:衰减系数 E：nx1单位向量 R：nxn状态转移概率矩阵 X：nx1状态矩阵，（i,1）表示网站i得票数，总票数为1 展开迭代式，得到 X=（1-a）E+(1-a)axRxE+(1-a)a^2 xR^2xE+...(1-a)a^(n-1)xR^(n-1)xE 整理易得 X= 随着n增长，常数项（1-a）x a^i
二分类——多分类：一点思考
Qin_Mio_Chaos的博客
08-12 1572
将多分类归结为二分类，有两种简单方法： 1、类A——非类A 单类别与补集分类 2、类A——类B 单类别与单类别分类 举个简单线性分类例子： 对于左图，可使用方法1，因为类别与补集直接线性可分 对于右图，每个类别都不可与其补集线性分割， 但两类之间线性可分 可见“两类间线性可分”这一命题弱于“类别与补集线性可分” 特别地，对于未
adaboost： 0%正确率=100%正确率
Qin_Mio_Chaos的博客
09-01 1314
adaboost是二分类算法 二分类器有个很好的性质：若sign（f）em>1/2，将分类器改为 -sign（f）即可 对于adaboost，其系数能自适应em>1/2的情况 子分类器Gm（x）系数 am=1/2 log( (1-em)/em ) 为负 am 对应的加权子分类器：amGm（x）取负，则该子分类器等价于em 另一方面，数据集的权值更新：Wm+1,
kd树修改：BBF简析
Qin_Mio_Chaos的博客
08-10 663
bbf是一个近似算法，凭借决定算法执行步数，限定了搜索次数。 bbf是我在v july v博客里看到的，里面提到“算法执行至队列为空”，应该是不当的说法，若真实行至此，则完成了所有点的扫描。 下面简单图示： 对于任意一棵树，可以通过对节点的谓词取反，得到交换左右子树的效果，最终得到上图。 红色节点为搜索路径（作为初始解），将蓝色节点加入优先队列（优先级为与点A的距离），然后
CART算法剪枝详解与实现
"CART剪枝详解" CART（Classification and Regression Trees）算法是一种广泛应用的决策树构建方法，它用于分类和回归任务。在构建决策树的过程中，为了防止过拟合，通常需要对生成的树进行剪枝。剪枝是通过减少树...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值