- 博客(3)
- 收藏
- 关注
RSS订阅原创 momentum RMSprop Adam gradient descent介绍
momentum gradient descent，即动量梯度下降，主要是运用了加权指数移动平均（为什么是指数是因为将式子展开后呈现指数形式），将历史的梯度平均下来，这样正负方向震荡的梯度平均为0，而一直沿着某一方向的梯度在更新迭代中就会保存下来，因此相比于mini batch sgd来说，收敛更快！ RMSprop不再进行简单的加权指数移动平均，而是平均梯度的平方，这样最后的结果总是正值...
2018-08-08 21:04:57
352
翻译 LightGBM: A Highly Efficient Gradient Boosting Decision Tree 论文笔记
上一篇我们介绍了XGBOOST，这一篇我们趁热打铁来把LIGHTGBM也讲了！ Abstract 提出两个方法：Gradient-based One-Side Sampling (GOSS)（单边采样） 和 Exclusive Feature Bundling (EFB)（互斥特征捆绑）. GOSS就是不考虑具有小梯度的数据，而这部分数据往往占有很大比重，只考虑会带来大梯度的数据。 ...
2018-08-05 16:33:18
405
翻译 XGBoost: A Scalable Tree Boosting System 论文笔记
ABSTRACT 可扩展的端到端的提升树系统 对于稀疏数据，提出稀疏感知算法 对于近似树学习，提出加权的分位数速算 缓存访问方式，数据压缩和分片，达到可扩展，节省资源，处理大规模数据 1.INTRODUCTION xgb和neural net的ensemble都取得了很好的效果。 一种新颖的树学习算法，用于处理稀疏数据; 理论上合理的加权分位数草图过程使得能够在近似树学习中处理实例...
2018-08-01 22:30:05
979
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人