机器学习
溺水的鱼该怎么活
四不像
展开
-
机器学习中的范数规则化之(一)L0、L1与L2范数
今天天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 监督机器学习问题无非就是“minimizeyour error while regul...转载 2018-04-08 17:21:40 · 157 阅读 · 0 评论 -
Xgboost原理
原博客为https://blog.csdn.net/github_38414650/article/details/76061893初看Xgboost,翻了多篇博客发现关于xgboost原理的描述实在难以忍受,缺乏逻辑性,写一篇供讨论。——以下是抛砖引玉。 观其大略,而后深入细节,一开始扎进公式反正我是觉得效率不高,还容易打消人的积极性。首先说下决策树决策树是啥? 举个例子,有一堆人,我让你分出男...转载 2018-04-06 15:41:24 · 390 阅读 · 0 评论 -
Xgboost与RandomForest
原创文章:http://blog.csdn.net/qccc_dm/article/details/63684453 首先XGBOOST,GBDT,RF都是集成算法,RF是Bagging的变体,与Bagging相比,RF加入了属性扰动,而XGBOOST,GBDT属于boosting. 一、RandomForest 与 GBDT 的区别:相同点:1.都由很多棵树组成2.最终的结果是由多棵树一起决定的...转载 2018-04-06 15:43:04 · 2214 阅读 · 0 评论 -
boosting bagging
这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以下是搜索得到的原文,没找到博客作者的地址,在这里致谢作者的研究。一并列出一些找到的介绍boosting算法的资源:(1)视频讲义,介绍boosting算法,主要介绍AdaBoosing http://videole...转载 2018-04-06 15:46:27 · 239 阅读 · 0 评论 -
RandomForest 原理
1.分类回归树CART随机森林是由多颗CART树组成的,下面简单叙述下回归树及生成树的算法(1)最小二乘回归树生成算法(2)分类树的生成分类树可以使用基尼指数作为分类标准,至于为什么上面的指标,我们可以从信息论的角度思考。同样采样这样的分类标准会导致生成树选择最优属性时会偏向类别比较多的属性,因此在实际使用的过程中应对数据集进行处理或者控制树的深度。虽然决策树算法可以通过剪枝(正则、验证集测试)或...转载 2018-04-06 15:49:34 · 1873 阅读 · 0 评论