通过源码学算法--AdaBoost (CART) -- 楔子

引子

看源码一直以来是我学习各种算法的主要方式。没办法，数学太差，看到各种paper上的古怪公式就犯恶心。不过等明白了具体实现做法，倒也能理解写公式的苦衷：任何算法实现时都有不少的假设和work around，这些拿不上台面的东西，哪有数学公式看着纯粹与专业呢

这些年陆陆续续看了不少源码，确实也帮助很大。不过很多算法当时明白，过段时间再想起时，就只留了大概的印象。要想再获得当初同样的理解，几乎要花同样的时间。所以想起慢慢再过一遍，同时做个记录，希望以后再捡起时能稍微快一点

最近偶然和DPM有交集，自然少不了SVM，遂想起同类的AdaBoost。当初做车牌识别，从正负样本采集，特征生成，特征选取，分类器训练，分类器实现还是全部走通了的。现在回头翻翻笔记，想想当初调试代码的夜晚和星空，还是像个怨妇一样蛮伤感的

简介

AdaBoost的理论文章和博客应该遍地都是。具体实现也不难找。OpenCV中的实现也早就有了很多详细的解读。

我当时用到的是大名鼎鼎的俄罗斯苦冰（苦寒冰冷）黑客（just kidding！）的作品：GML AdaBoost Matlab Toolbox 0.3。

http://graphics.cs.msu.ru/en/science/research/machinelearning/adaboosttoolbox

这个包总共实现了三种不同的算法：Real AdaBoost, Gentle AdaBoost and Modest AdaBoost。总共也就十来个文件吧。还包括了Matlab转C++程序（把训练好的模型转为C++结构并检测），真是居家旅行必备靓包--你还想要什么？