- 博客(2)
- 资源 (1)
- 收藏
- 关注
原创 LR损失函数推导
LR的推导LR逻辑回归是一种监督学习分类算法,其实现了给定数据集到0,1的一种映射。给定数据集D={(x1,y1),(x2,y2),...,(xm,ym)},其中(xi,yi)表示第i个样本,其中,xi=(xi1,xi2,...,xin),即每个数据有n个特征,类别y={0,1},要求训练数据,将数据分成两类0或1。假定xi的n个特征为线性关系,即:...
2020-02-17 20:08:58 4812
原创 Xgboost与Gbdt的区别
传统GBDT以CART作为基分类器,CART以gini指数选择特征,gini指数越小,纯度越高。离散特征会依次将每个取值作为分割点计算gini系数,连续特征会依次将连续两个值的中间值作为分割点,均取gini指数最小的作为最优特征与最优切分点。Xgboost还支持线性分类器,这个时候xgboost相当于带L1和L2正则化项的LR。 传统GBDT在优化时只用到一阶导数信息,xgboost则对代价函数...
2020-02-17 18:09:32 544
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人