机器学习算法自适应增强AdaBoost之c++实现(不调用外源库)_online adaboost c+(1)

img
img

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上C C++开发知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以戳这里获取

什么是AdaBoost?

AdaBoost(Adaptive Boosting)算法是一种集成学习算法,它将多个弱分类器组合成一个强分类器。AdaBoost的基本思想是对于一个数据集,每个样本都被赋予一个权重,每次训练都会根据前一次分类器的错误率来调整每个样本的权重,使得被错误分类的样本在下一轮训练中得到更高的权重,从而使得下一轮训练中的分类器更加关注那些被错误分类的样本。最终,所有分类器的预测结果根据其权重进行加权求和,得到最终的分类结果。AdaBoost可以用于二分类和多分类问题,也可以用于回归问题。

AdaBoost的推导,百度一下很多,这里就做一下搬运工了,可参考:机器学习实战 第七章 利用AdaBoost元算法提高分类性能_LuoY、的博客-CSDN博客

第二步:代码实现

#include<iostream>
#include <string>
#include <math.h>
#include <fstream>
#include <sstream>
#include <map>
#include "matrix.h"

using namespace std;

#define MAX 1000000
#define MIN -100000

struct Stump {
	map<string, int>stumpDim;
	map<string, double>stumpThresh;
	map<string, string>stumpIneq;
	map<string, double>stumpAlpha;
};

vector<Stump>weakClassArr;


//求每列的最大最小
void rangeSize(Matrix &Data, int &axis, vector<double> &rangeVal)
{
	rangeVal.clear();
	rangeVal.push_back(MIN);
	rangeVal.push_back(MAX);
	for (int i = 0; i < Data.col; i++)
	{
		if (Data.mat[i][axis]>rangeVal[0])
			rangeVal[0] = Data.mat[i][axis];
		if (Data.mat[i][axis]<rangeVal[1])
			rangeVal[1] = Data.mat[i][axis];
	}
}

vector<int> stumpClassify(Matrix Data, int axis, double threshVal, string threshIneq)
{
	vector<int> retArray(Data.col, 1);
	for (int i = 0; i < Data.col; i++)
	{
		if (threshIneq == "lt")
		{
			if (Data.mat[i][axis] <= threshVal)
			{
				retArray[i] = -1;
			}
		}
		else
		{
			if (Data.mat[i][axis] > threshVal)
			{
				retArray[i] = -1;
			}
		}
	}
	return retArray;
}

//return 最小的误差
double buildStump(Matrix &dataMatrix, Matrix &labelMat, Stump &bestStump, vector<int> &bestClasEst, vector<double> &D)
{
	int m = dataMatrix.col;//行
	int n = dataMatrix.row;//列
	double numSteps = 10.0;
	vector<double>rangeVal;
	vector<int>predictedVals;
	vector<string>threshIneq{ "lt","gt" };
	double minError = INT_MAX;
	for (int i = 0; i < n; i++)
	{
		rangeSize(dataMatrix, i, rangeVal);
		double rangeMin = rangeVal[1];
		double rangeMax = rangeVal[0];
		double stepSize = (rangeMax - rangeMin) / numSteps;
		for (int j = -1; j < int(numSteps) + 1; j++)
		{
			for (int k = 0; k < 2; k++)
			{
				double threshVal = rangeMin + j * stepSize;
				predictedVals = stumpClassify(dataMatrix, i, threshVal, threshIneq[k]);
				vector<int>errArr(m, 1);
				for (int ii = 0; ii < m; ii++)
				{
					if (predictedVals[ii] == labelMat.mat[ii][0])
					{
						errArr[ii] = 0;
					}
				}
				double weightedError = 0.0;
				for (int ii = 0; ii < m; ii++)
				{
					weightedError += D[ii] * errArr[ii];
				}
				//                cout<<"split: dim "<<i<<",thresh "<<threshVal<<",thresh inequal:"<<threshIneq[k];
				//                cout<<", the weighted error is "<<weightedError<<endl;
				if (weightedError < minError)
				{
					minError = weightedError;
					bestClasEst = predictedVals;
					bestStump.stumpDim["dim"] = i;
					bestStump.stumpThresh["thresh"] = threshVal;
					bestStump.stumpIneq["ineq"] = threshIneq[k];
				}
			}
		}
	}
	return minError;
}

//符号函数
int sign(const double x)
{
	if (x > 0)
	{
		return 1;


![img](https://img-blog.csdnimg.cn/img_convert/ab6a1d8ebbd53a55375b2f1e0444c10b.png)
![img](https://img-blog.csdnimg.cn/img_convert/13e5c052727bf0c2d4b9c2e58866126b.png)

**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上C C++开发知识点,真正体系化!**

**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[如果你需要这些资料,可以戳这里获取](https://bbs.csdn.net/topics/618668825)**

++开发知识点,真正体系化!**

**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**

**[如果你需要这些资料,可以戳这里获取](https://bbs.csdn.net/topics/618668825)**

  • 5
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值