bagging和boosting(python代码实现)

分类算法很多，有的效果比较好，有的效果稍微差点。
这里还有一种“新”分类算法，就是把多个分类器组合成一个分类器，主要有bagging 和boosting两种。
bagging算法：从原始数据中随机抽取n个样本，重复s次，于是就有个s个训练集，每个训练集都可以训练出一个分类器，最终生成s个分类器，预测结果将有这些分类器投票决定（选择分类器投票结果中最多的类别作为最后预测结果）。代表的有随机森林。
boosting算法：训练数据都一样，但是每个新的分类器，都会根据上一个分类器的误差来做相应调整。最终由这些分类器加权求和得到预测结果。代表的有AdaBoost。
两者还是有很明显的区别：
1. bagging每个训练集都不一样，而boosting每个训练集都一样。
2. bagging最终投票时，每个分类器权重都一样，而boosting最终投票时，每个分类器权重都不一样。
下面介绍adaboost，属于boosting算法。
算法思路如下：
1. 通过训练数据训练出一个最优分类器。
2. 查看分类器的错误率，把错分类的样本数据提高一定权重，分类正群的样本，降低一定权重。然后按每个数据样本，不同权重来训练新的最优分类器。
3. 最终投票结果由这些分类器按不同权重来投票决定，其中各分类器的权重，按其预测的准确性来决定。

如下图所示

样本权重的变化：

各个分类器最终的权重

代码实现如下：

from numpy import *

#载入数据
def loadSimpData():
    datMat = matrix([[1., 2.1],
                     [2., 1.1],
                     [1.3, 1.],
                     [1., 1.],
                     [2., 1.]])
    classLabels = [1.0, 1.0, -1.0, -1.0, 1.0]
    return datMat, classLabels

#载入数据
def loadDataSet(fileName):
    numFeat = len(open(fileName).readline().split('\t'))
    dataMat = []
    labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr = []
        curLine = line.strip().split('\t')
        for i in range(numFeat - 1):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat, labelMat

#预测分类
def stumpClassify(dataMatrix, dimen, threshVal, threshIneq):
    retArray = ones((shape(dataMatrix)[0], 1))
    if threshIneq == 'lt': #比阀值小，就归为-1
        retArray[dataMatrix[:, dimen] <= threshVal] = -1.0
    else:
        retArray[dataMatrix[:, dimen] > threshVal] = -1.0
    return retArray

#建立单层决策树
def buildStump(dataArr, classLabels, D):
    dataMatrix = mat(dataArr)
    labelMat = mat(classLabels).T
    m, n = shape(dataMatrix)
    numSteps = 10.0
    bestStump = {}
    bestClasEst = mat(zeros((m, 1)))
    minError = inf
    for i in range(n):
        rangeMin = dataMatrix[:, i].min()
        rangeMax = dataMatrix[:, i].max()
        stepSize = (rangeMax - rangeMin) / numSteps
        for j in range(-1, int(numSteps) + 1):
            for inequal in ['lt', 'gt'] : #less than 和greater than
                threshVal = (rangeMin + float(j) * stepSize)
                predictedVals = stumpClassify(dataMatrix, i, threshVal,inequal)
                errArr = mat(ones((m, 1)))
                errArr[predictedVals == labelMat] = 0 #分类错误的标记为1，正确为0
                weightedError = D.T * errArr #增加分类错误的权重<