决策树与集成学习

由于机器学习涉及的方法很广，对机器学习有了一个横向宏观的把握之后，需要纵向对某一类方法进行深入的学习。
因为要研究的课题内容是有监督学习，因此选择一类有监督的学习方法进行深入的研究 。
集成学习综述(2016年10月) http://blog.csdn.net/qq_28168421/article/details/53364718

目前来说机器学习的研究主要分为四个大方向：
a) 通过集成学习方法提高学习精度；
b) 扩大学习规模；
c) 强化学习；
d) 学习复杂的随机模型；

就目前而言，在各大竞赛中，集成学习方法使用较广，而且泛化效果很好，取得了不错的成绩，例如在KDD和Kaggle。因此选择对集成学习方法进行深入研究。
目前，常用的集成学习的基分类器大都采用决策树算法，例如Boosted Tree相关算法。所以开始对决策树算法进行深入的掌握。
因此学习的思路是：
1）对决策树算法进行学习，ID3，C4.5和CART
2）对提升树算法进行学习（桥梁的作用，其思想也是关键所在）
3）对AdaBoost，GBDT，XGBoost ，RF，LightGBM等算法进行深入研究

达到的目标：
1）对每一种具体算法都能够掌握的很细，使用Python进行编码实现
2）对算法的优缺点，擅于解决什么样类型的问题进行总结
3）在方法上进行创新，例如对目标函数以及优化算法的方法