- 博客(2)
- 收藏
- 关注
原创 Multi-Layered Gradient Boosting Decision Trees(mGBDT) 笔记
自去年周志华老师提出了“深度森林”后,有重磅提出了多层梯度提升决策树模型。提出通过堆叠多个回归 GBDT 层作为构建块,并探索了其学习层级表征的能力。此外,与层级表征的神经网络不同,他们提出的方法并不要求每一层都是可微,也不需要使用反向传播更新参数。在读完论文之后感到很兴奋,也顺便写个笔记记录下。本文主要回答了两个问题:1、我们是否可以用非可微组件构建多层模型(比如使用树集成来获得分层分布式表征)...
2018-06-22 11:11:51 1693 1
原创 机器学习算法常用策略
求解优化问题方面 1、固定A优化B再固定B优化A(代表算法:ACS、EM) 2、引入白噪声(randomness injection)提升模型的鲁棒性,比如:建立模型方面 1、分层迭代(learning,self-paced learning, Deep-Forest, 分多个epoch迭代) 2、对抗的方法(...
2018-06-09 19:52:37 334
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人