分享几篇集成学习的文章,不一定是最优的文章,但一定是使我有所收获的文章
- 集成学习是一个宽泛的概念,泛指通过组合几个若的学习器,得到一个强的学习器。
- 集成学习是商用(商业应用考虑的因素更多,可控、稳定、性能好)和竞赛上被常用并且效果极佳的方案。
- 集成学习通常分为bagging和boosting两种策略,通常boosting方法只能串行训练,训练速度比较慢,但是XGboost是一个性能优异的boosting集成学习方法,较好的克服了boosting的缺陷
集成学习
Bagging与Boosting的概念与区别
随机森林算法RT
xgboost的原理没你想像的那么难
GBDT算法
Boosting学习笔记(Adboost、GBDT、Xgboost)
STACKing数据挖掘
关于ML的优质文章
对Tensorflow/Theano/CNTK的高级封装库keras
最优化常用方法,几种常用最优化方法
对神经网络的训练过程就是一个求最优化问题,所以最优化方法是深度学习的核心,常见的梯度下降法,随机梯度下降法SGD,小批量梯度下降法,动量法等,标题两篇文章图文并茂的解释了这些方法的优缺点,适用范围。
LSTM时间序列分类(Sequence classification with LSTM)
时间序列分类的情形如:阿里云天池恶意软件检测比赛中的数据,是程序调用接口的日志记录,以此为输入数据对程序恶意类别进行多分类。和NLP中的文本主题分类是类似/情感识别的问题。这篇英文文章从原理到实践讲了LSTM序列多分类方法,英语不好的我也能读懂。
RNN
CNN
ResNet 残差网络,让CNN网络更深
LSTM
Gated Recurrent Unit (GRU)