机器学习
机器学习算法
Lei_yiyi
稀里糊涂,误打误撞
展开
-
分类与回归的本质区别
目录从 training 角度来看,分类与回归的本质区别在于输出空间是否为一个度量空间,即目标函数不同从 prediction 角度来看,分类模型与回归模型本质一样,分类模型可将回归模型的输出离散化(下面例子 1、2、4、5),回归模型也可将分类模型的输出连续化(下面例子 3)从 training 角度来看,分类与回归的本质区别在于输出空间是否为一个度量空间,即目标函数不同回归问题与分类问题本质上都是要建立映射关系:f(x)→y,x∈A,y∈Bf(x) \rightarrow y,x \in A,y \原创 2020-12-14 14:52:21 · 585 阅读 · 0 评论 -
CART/GBDT
目录CART(Classification And Regression Tree)CART(Classification And Regression Tree)CART是决策树的一种,并且是非常重要的决策树。顾名思义,CART算法既可以用于创建分类树(Classification Tree),也可以用于创建回归树(Regression Tree)、模型树(Model Tree),两者在建树的过程稍有差异。CART是二叉树。1、CART作为分类树CART作为分类树时,特征属性可以是连续类型也可以是原创 2020-12-08 09:19:52 · 595 阅读 · 0 评论 -
CART/ID3/C4.5
目录相同点不同点提出时间样本数据样本数据——缺失值样本数据——连续值样本数据——样本量样本特征样本特征——使用次数样本特征——划分标准叉数剪枝策略应用场景优缺点CART和C4.5之间主要差异在于分类结果上,CART可以回归分析也可以分类,C4.5只能做分类;C4.5子节点是可以多分的,而CART是无数个二叉子节点;以此拓展出以CART为基础的“树群”random forest , 以回归树为基础的“树群”GBDT相同点均由特征选择,树的生成,剪枝组成。不同点提出时间1979,1986年提出的I原创 2020-11-30 14:15:14 · 452 阅读 · 0 评论 -
集成学习之 Boosting 与 Bagging
集成学习集成学习的分类Boosting —— 串行 —— 迭代式学习 —— 降偏差Bagging —— 并行 —— 集体投票决策 —— 降方差集成学习的基本步骤基分类器决策树神经网络偏差与方差集成学习的分类Boosting —— 串行 —— 迭代式学习 —— 降偏差Boosting 方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。Boosting 的基本思路是将基分类器层层叠加,每一层在训练的时候,对前一层基分类器分错的样本,给予更高的权重。测试时,根据各层分类器的结果的加权得到 最终结原创 2020-05-11 14:47:48 · 304 阅读 · 0 评论