machine learning
机器学习相关的
一只勤奋爱思考的猪
爱记录、爱分享、爱学习、希望多多留下自己思考过疯狂过的痕迹!
展开
-
XGBOOST集成树模型的原理梳理
0 前言xgboost本身是集成树模型,在了解其原理之前,先对树模型的机器学习基础知识做一定介绍。监督学习元素(1)学习模型(即已知x,求出y的模型表达式)比如:线性模型;逻辑回归模型;(2)参数从数据当中学习得到模型参数。(3)目标函数包含两部分:损失函数+正则项损失函数是衡量模型拟合训练数据的能力。在训练数据上的损失函数,有多种形式:比如平方损失、逻辑回归损失;正则项是衡量模型复杂度,有L1正则项,L2正则项;目标函数包含两部分的原因就是:保证至少在训练数据上,该模型能较好地接原创 2020-06-15 00:39:43 · 1362 阅读 · 0 评论 -
XGBOOST学习资料
xgboost原理:https://blog.csdn.net/dream_catcher_10/article/details/51277138GDBT原理:https://blog.csdn.net/dream_catcher_10/article/details/50417603boosting框架:https://www.jianshu.com/p/11083abc5738最小二乘回...原创 2019-05-04 10:41:20 · 277 阅读 · 0 评论 -
树模型算法
目录一级目录一、决策树算法二、随机森林模型三、梯度提升树一级目录一、决策树算法构建决策树时通常采用自上而下的方法,在每一步选择一个最好的属性来分裂。“最好” 的定义是使得子节点中的训练集尽量的纯(信息增益最小,其中信息增益=未用该属性的上一层即分裂前的类别的熵值-用了该属性即这一层本类别的熵值)。不同的算法使用不同的指标来定义"最好"。一个描述泰坦尼克号上乘客生存的决策树 ("sibsp"指甲板上的兄妹和配偶)。每个决策叶下标识该类乘客的生存几率和观察到的比率;下面介绍几个常用的指标。基尼不纯原创 2020-06-12 23:43:21 · 1038 阅读 · 0 评论 -
机器学习—(sklearn工具箱机器学习算法的大致分类)
机器学习算法分类: (具体算法选择可根据样本量大小以及下面的特征进行选择) 1.无监督算法,用于降维,作为辅助性工具的算法:PCA,SVD,Kmeans; 2.无监督算法,用于关联分析的算法:Aprior算法、隐马尔科夫(现在已经少用了,可用循环神经网络取代); 3.有监督算法,用于分类(离散型标签)用:svm,GDBT,LR,XGBT; 4.有监督算法,用于分类(连...原创 2018-06-10 00:35:26 · 904 阅读 · 0 评论