机器学习算法自适应增强AdaBoost之c++实现（不调用外源库）

AI街潜水的八角

已于 2023-12-26 14:19:55 修改

阅读量129

点赞数

分类专栏：从零实现十大机器学习文章标签：机器学习算法 c++ 决策树

于 2023-10-08 17:19:44 首次发布

本文链接：https://blog.csdn.net/m0_59023219/article/details/133685962

版权

从零实现十大机器学习专栏收录该内容

10 篇文章 2 订阅

订阅专栏

目前玩机器学习的小伙伴，上来就是使用现有的sklearn机器学习包，写两行代码，调调参数就能跑起来，看似方便，实则有时不利于个人能力发展，要知道现在公司需要的算法工程师，不仅仅只是会调参（这种工作，入门几个月的人就可以干了），而是要深入底层，能优化代码，能自己搭。

本文章适合以下几类人：

1）初学者，了解机器学习的实现过程

2）想提升自己的代码能力

第一步：原理

什么是AdaBoost？

AdaBoost（Adaptive Boosting）算法是一种集成学习算法，它将多个弱分类器组合成一个强分类器。AdaBoost的基本思想是对于一个数据集，每个样本都被赋予一个权重，每次训练都会根据前一次分类器的错误率来调整每个样本的权重，使得被错误分类的样本在下一轮训练中得到更高的权重，从而使得下一轮训练中的分类器更加关注那些被错误分类的样本。最终，所有分类器的预测结果根据其权重进行加权求和，得到最终的分类结果。AdaBoost可以用于二分类和多分类问题，也可以用于回归问题。

AdaBoost的推导，百度一下很多，这里就做一下搬运工了，可参考：机器学习实战第七章利用AdaBoost元算法提高分类性能_LuoY、的博客-CSDN博客

第二步：代码实现

#include<iostream>
#include <string>
#include <math.h>
#include <fstream>
#include <sstream>
#include <map>
#include "matrix.h"

using namespace std;

#define MAX 1000000
#define MIN -100000

struct Stump {
	map<string, int>stumpDim;
	map<string, double>stumpThresh;
	map<string, string>stumpIneq;
	map<string, double>stumpAlpha;
};

vector<Stump>weakClassArr;


//求每列的最大最小
void rangeSize(Matrix &Data, int &axis, vector<double> &rangeVal)
{
	rangeVal.clear();
	rangeVal.push_back(MIN);
	rangeVal.push_back(MAX);
	for (int i = 0; i < Data.col; i++)
	{
		if (Data.mat[i][axis]>rangeVal[0])
			rangeVal[0] = Data.mat[i][axis];
		if (Data.mat[i][axis]<rangeVal[1])
			rangeVal[1] = Data.mat[i][axis];
	}
}

vector<int> stumpClassify(Matrix Data, int axis, double threshVal, string threshIneq)
{
	vector<int> retArray(Data.col, 1);
	for (int i = 0; i < Data.col; i++)
	{
		if (threshIneq == "lt")
		{
			if (Data.mat[i][axis] <= threshVal)
			{
				retArray[i] = -1;
			}
		}
		else
		{
			if (Data.mat[i][axis] > threshVal)
			{
				retArray[i] = -1;
			}
		}
	}
	return retArray;
}

//return 最小的误差
double buildStump(Matrix &dataMatrix, Matrix &labelMat, Stump &bestStump, vector<int> &bestClasEst, vector<double> &D)
{
	int m = dataMatrix.col;//行
	int n = dataMatrix.row;//列
	double numSteps = 10.0;
	vector<double>rangeVal;
	vector<int>predictedVals;
	vector<string>threshIneq{ "lt","gt" };
	double minError = INT_MAX;
	for (int i = 0; i < n; i++)
	{
		rangeSize(dataMatrix, i, rangeVal);
		double rangeMin = rangeVal[1];
		double rangeMax = rangeVal[0];
		double stepSize = (rangeMax - rangeMin) / numSteps;
		for (int j = -1; j < int(numSteps) + 1; j++)
		{
			for (int k = 0; k < 2; k++)
			{
				double threshVal = rangeMin + j * stepSize;
				predictedVals = stumpClassify(dataMatrix, i, threshVal, threshIneq[k]);
				vector<int>errArr(m, 1);
				for (int ii = 0; ii < m; ii++)
				{
					if (predictedVals[ii] == labelMat.mat[ii][0])
					{
						errArr[ii] = 0;
					}
				}
				double weightedError = 0.0;
				for (int ii = 0; ii < m; ii++)
				{
					weightedError += D[ii] * errArr[ii];
				}
				//                cout<<"split: dim "<<i<<",thresh "<<threshVal<<",thresh inequal:"<<threshIneq[k];
				//                cout<<", the weighted error is "<<weightedError<<endl;
				if (weightedError < minError)
				{
					minError = weightedError;
					bestClasEst = predictedVals;
					bestStump.stumpDim["dim"] = i;
					bestStump.stumpThresh["thresh"] = threshVal;
					bestStump.stumpIneq["ineq"] = threshIneq[k];
				}
			}
		}
	}
	return minError;
}

//符号函数
int sign(const double x)
{
	if (x > 0)
	{
		return 1;
	}
	else if (x < 0)
	{
		return -1;
	}
	else
		return 0;
}

double max(double a, double b) {
	if (a > b)
		return a;
	else
		return b;
}

vector<Stump> adaBoostTrainDS(Matrix &dataMatrix, Matrix &labelMat, int numIt = 40)
{

}

int main()
{
	dataToMatrix dtm;
	cout << "loadData" << endl;
	cout << "----------------------" << endl;
	char file[30] = "adaboost.txt";
	dtm.loadData(&dtm, file);
	//dtm.print(dtm);

	Matrix x;
	x.loadMatrix(&x, dtm);

	Matrix y;
	y.initMatrix(&y, x.col, 1);
	y = y.getOneRow(x, x.row - 1);

	x.deleteOneRow(&x, x.row);
	adaBoostTrainDS(x, y, 10);
	return 0;
}

第三步：运行过程

运行结果