机器学习算法自适应增强AdaBoost之c++实现（不调用外源库）_online adaboost c+(1)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以戳这里获取

什么是AdaBoost？

AdaBoost（Adaptive Boosting）算法是一种集成学习算法，它将多个弱分类器组合成一个强分类器。AdaBoost的基本思想是对于一个数据集，每个样本都被赋予一个权重，每次训练都会根据前一次分类器的错误率来调整每个样本的权重，使得被错误分类的样本在下一轮训练中得到更高的权重，从而使得下一轮训练中的分类器更加关注那些被错误分类的样本。最终，所有分类器的预测结果根据其权重进行加权求和，得到最终的分类结果。AdaBoost可以用于二分类和多分类问题，也可以用于回归问题。

AdaBoost的推导，百度一下很多，这里就做一下搬运工了，可参考：机器学习实战 第七章 利用AdaBoost元算法提高分类性能_LuoY、的博客-CSDN博客

第二步：代码实现

#include<iostream>
#include <string>
#include <math.h>
#include <fstream>
#include <sstream>
#include <map>
#include "matrix.h"

using namespace std;

#define MAX 1000000
#define MIN -100000

struct Stump {
	map<string, int>stumpDim;
	map<string, double>stumpThresh;
	map<string, string>stumpIneq;
	map<string, double>stumpAlpha;
};

vector<Stump>weakClassArr;


//求每列的最大最小
void rangeSize(Matrix &Data, int &axis, vector<double> &rangeVal)
{
	rangeVal.clear();
	rangeVal.push_back(MIN);
	rangeVal.push_back(MAX);
	for (int i = 0; i < Data.col; i++)
	{
		if (Data.mat[i][axis]>rangeVal[0])
			rangeVal[0] = Data.mat[i][axis];
		if (Data.mat[i][axis]<rangeVal[1])
			rangeVal[1] = Data.mat[i][axis];
	}
}

vector<int> stumpClassify(Matrix Data, int axis, double threshVal, string threshIneq)
{
	vector<int> retArray(Data.col, 1);
	for (int i = 0; i < Data.col; i++)
	{
		if (threshIneq == "lt")
		{
			if (Data.mat[i][axis] <= threshVal)
			{
				retArray[i] = -1;
			}
		}
		else
		{
			if (Data.mat[i][axis] > threshVal)
			{
				retArray[i] = -1;
			}
		}
	}
	return retArray;
}

//return 最小的误差
double buildStump(Matrix &dataMatrix, Matrix &labelMat, Stump &bestStump, vector<int> &bestClasEst, vector<double> &D)
{
	int m = dataMatrix.col;//行
	int n = dataMatrix.row;//列
	double numSteps = 10.0;
	vector<double>rangeVal;
	vector<int>predictedVals;
	vector<string>threshIneq{ "lt","gt" };
	double minError = INT_MAX;
	for (int i = 0; i < n; i++)
	{
		rangeSize(dataMatrix, i, rangeVal);
		double rangeMin = rangeVal[1];
		double rangeMax = rangeVal[0];
		double stepSize = (rangeMax - rangeMin) / numSteps;
		for (int j = -1; j < int(numSteps) + 1; j++)
		{
			for (int k = 0; k < 2; k++)
			{
				double threshVal = rangeMin + j * stepSize;
				predictedVals = stumpClassify(dataMatrix, i, threshVal, threshIneq[k]);
				vector<int>errArr(m, 1);
				for (int ii = 0; ii < m; ii++)
				{
					if (predictedVals[ii] == labelMat.mat[ii][0])
					{
						errArr[ii] = 0;
					}
				}
				double weightedError = 0.0;
				for (int ii = 0; ii < m; ii++)
				{
					weightedError += D[ii] * errArr[ii];
				}
				//                cout<<"split: dim "<<i<<",thresh "<<threshVal<<",thresh inequal:"<<threshIneq[k];
				//                cout<<", the weighted error is "<<weightedError<<endl;
				if (weightedError < minError)
				{
					minError = weightedError;
					bestClasEst = predictedVals;
					bestStump.stumpDim["dim"] = i;
					bestStump.stumpThresh["thresh"] = threshVal;
					bestStump.stumpIneq["ineq"] = threshIneq[k];
				}
			}
		}
	}
	return minError;
}

//符号函数
int sign(const double x)
{
	if (x > 0)
	{
		return 1;


![img](https://img-blog.csdnimg.cn/img_convert/ab6a1d8ebbd53a55375b2f1e0444c10b.png)
![img](https://img-blog.csdnimg.cn/img_convert/13e5c052727bf0c2d4b9c2e58866126b.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上C C++开发知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618668825)**

++开发知识点，真正体系化！**

**由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新**

**[如果你需要这些资料，可以戳这里获取](https://bbs.csdn.net/topics/618668825)**