【附源码】C++实现特征值连续的多分类问题（朴素贝叶斯、决策树、感知机）

已于 2023-03-01 12:47:46 修改
阅读量590 收藏 5
点赞数 5
文章标签： c++ 多分类 决策树 分类
于 2023-01-28 15:39:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_58815430/article/details/128761711
版权

C++实现简单机器学习算法

朴素贝叶斯

原理

  详细公式及推导请参考博客 朴素贝叶斯

1
在这里插入图片描述

核心代码

//计算先验概率
vector<vector<double>> Probability(vector<vector<double>> train_data) {
	vector<vector<double>> p_u;
	vector<double> p{ 0,0,0,0 };   //初始化p为3个0
	vector<double> u1{ 0,0,0,0 };  //第一列数据的均值，u1[0]表示类别‘0’中第一个特征的均值
	vector<double> u2{ 0,0,0,0 };
	vector<double> s1{ 0,0,0,0 };  //第一列数据的方差，s1[0]表示类别‘0’中第一个特征的方差
	vector<double> s2{ 0,0,0,0 };

	int len = train_data.size();
	for (int i = 0; i < len; ++i)
	{
		double a = train_data[i][0];
		double b = train_data[i][1];
		if (train_data[i][2] == 0)
		{
			p[0]++;
			u1[0] += a;
			u2[0] += b;
		}
		if (train_data[i][2] == 1)
		{
			p[1]++;
			u1[1] += a;
			u2[1] += b;
		}
		if (train_data[i][2] == 2)
		{
			p[2]++;
			u1[2] += a;
			u2[2] += b;
		}
		if (train_data[i][2] == 3)
		{
			p[3]++;
			u1[3] += a;
			u2[3] += b;
		}
	}
	for (int i = 0; i < 4; ++i)
	{
		u1[i] /= p[i];
		u2[i] /= p[i];
	}
	p_u.push_back(p);
	p_u.push_back(u1);
	p_u.push_back(u2);
	//计算sigma
	for (int k = 0; k < len; ++k)
	{
		double a = train_data[k][0];
		double b = train_data[k][1];
		if (train_data[k][2] == 0)
		{
			s1[0] += (a - u1[0]) * (a - u1[0]);
			s2[0] += (a - u2[0]) * (a - u2[0]);
		}
		if (train_data[k][2] == 1)
		{
			s1[1] += (a - u1[1]) * (a - u1[1]);
			s2[1] += (a - u2[1]) * (a - u2[1]);
		}
		if (train_data[k][2] == 2)
		{
			s1[2] += (a - u1[2]) * (a - u1[2]);
			s2[2] += (a - u2[2]) * (a - u2[2]);
		}
		if (train_data[k][2] == 3)
		{
			s1[3] += (a - u1[3]) * (a - u1[3]);
			s2[3] += (a - u2[3]) * (a - u2[3]);
		}
	}
	for (int k = 0; k < 4; ++k)
	{
		s1[k] = s1[k] / p[k];
		s2[k] = s2[k] / p[k];
	}
	for (int i = 0; i < 4; ++i) p[i] = (p[i] + 1) / (len + 4);

	p_u.push_back(s1);
	p_u.push_back(s2);
	return p_u;
}
//计算P(x_j|c_i)：类别i的情况下特征是x_j的概率
double P_Gauss(double x, double u, double s_f) {
	return exp(-(((x - u) * (x - u)) / (2 * s_f))) / sqrt(2 * PI * s_f);
}

决策树

原理

  参见 决策树分类原理
这篇文章我受益很多，里面举了具体的例子，强烈推荐大家阅读
在这里插入图片描述
在这里插入图片描述

核心代码

由于我也是人工智能萌新一枚，以下代码框架是根据python决策树改写而来的，因此有些地方可能略显复杂，但是我秉持着能跑就行的心态，后期也懒得动改了。

类的构造略显单调，能用就行！！！id存的是第几个属性，value是属性的值

class Node {
public:
	int id;
	double value;
	Node* leftBranch;
	Node* rightBranch;
	Node()
	{
		this->id = -1;
		this->value = -1;
		this->leftBranch = NULL;
		this->rightBranch = NULL;
	}
};

下面主要展示递归构建树的过程以及连续特征是如何划分的

//分割后第0列为小数据，第1列为大数据
vector<vector<vector<double>>> splitDataSet(vector<vector<double>> dataSet, int id, double val) {
	vector<vector<vector<double>>> sp;
	vector<vector<double>> dataSet_feat;
	vector<vector<double>> left;
	vector<vector<double>> right;
	const int len = dataSet.size();
	Order2Sort* s = new Order2Sort[len];
	Vec2Stru(s, dataSet);
	if (id == 0)
	{
		sort(s, s + len, cmp1);//对特征1进行升序排列
		dataSet_feat = Stru2Vec(s, len);//特征1升序
		delete[] s;
	}
	else if (id == 1)
	{
		sort(s, s + len, cmp2);//对特征2进行升序排列
		dataSet_feat = Stru2Vec(s, len);//特征2升序
		delete[] s;
	}
	else
	{
		cout << "ERROR IN splitDataSet \"id=-1\"";
		exit(1);
	}
	for (int i = 0; i < len; ++i)
	{
		if (dataSet_feat[i][id] <= val)
		{
			left.push_back(dataSet_feat[i]);
		}
		if (dataSet_feat[i][id] > val)
		{
			right.push_back(dataSet_feat[i]);
		}
	}
	sp.push_back(left);
	sp.push_back(right);
	return sp;
}
vector<Node*> MyTrees;
Node* createTree(Node* tree, vector<vector<double>> dataSet) {
	const int len = dataSet.size();
	vector<double> labels = { 0,0,0,0 };
	for (int i = 0; i < len; ++i)
	{
		if (dataSet[i][2] == 0) labels[0]++;
		if (dataSet[i][2] == 1) labels[1]++;
		if (dataSet[i][2] == 2) labels[2]++;
		if (dataSet[i][2] == 3) labels[3]++;
	}
	for (int i = 0; i < 4; ++i)
	{
		if (labels[i] == len)
		{
			tree->value = i;
			return tree;
		}
	}
	vector<vector<double>> mid_numVec = get_MidnumVec(dataSet);
	Feat_Id fd = chooseBestFeatureToSplit(dataSet, mid_numVec);
	tree->id = fd.id;
	tree->value = fd.feature;
	//cout << "feature=" << fd.feature << "   id=" << fd.id << endl;
	vector<vector<vector<double>>> sp = splitDataSet(dataSet, fd.id, fd.feature);
	vector<vector<double>> left = sp.at(0);
	vector<vector<double>> right = sp.at(1);
	MyTrees.push_back(new Node());
	tree->leftBranch = createTree(MyTrees.back(), left);
	MyTrees.push_back(new Node());
	tree->rightBranch = createTree(MyTrees.back(), right);
	return tree;
}

感知机

原理

  详细公式及推导推荐参考博客感知机

算法流程

不知道大家看了上面那个博客没有，我在这提醒一下，上面博客中的多分类情况的适用范围是多分类线性可分的情况（我的理解大概是这样的，就是说把某一个类别看成类别1，其他类别全看成类别-1，这个二分类是线性可分的），下面我们打印出的数据集分布情况可以看出红色于其他数据是非 线性可分的，所以直接用该方法行不通 跳坑的我 亲测该算法训练了一万轮也没出结果，而且权重越来越怪异，静下心来把原理理了一边才发现问题所在 菜狗本狗一枚

由于perceptron对训练集数据是否线性可分有严格要求，在处理非线性可分的数据集时往往需要通过核函数来处理。正如“二”中所介绍，我将采用进行多次二分类的方法来完成多分类任务，那么我首先需要知道训练集大致的分布情况以决定是否需要使用核函数，通过以下matlab代码可以轻松生成训练集的分布情况，我们发现数据集两两之间是线性可分的，虽然“类别0”和“类别1”有一定的重叠区，但考虑到那仅仅是极小的一部分数据，对整体预测效果的影响不大，我们可以近似认为它也是线性可分的。
在这里插入图片描述
流程图：
在这里插入图片描述

核心代码

double distance(vector<double> w, vector<double> x) {
	if (x.size() == 2) x.push_back(1); //该行用于测试集，因为测试集仅两列，补充此行代码可简化后续测试
	double wx = (w[0] * x[0] + w[1] * x[1] + w[2]) * x[2];
	return wx;
}
double yita = 1;
void SGD(vector<double>& w, vector<double>x) {
	double c = yita * x[2];
	w[0] += c * x[0];
	w[1] += c * x[1];
	w[2] += c;
}
int cnt = 0;
//数据传的是哪两类的，w就传入对应的类别。  如dataSet传data01，则w传w01，clus传0（表示类别0为正例）
bool updata(vector<vector<double>> dataSet, vector<double>& w, int clus) {
	printf("第%d轮迭代……\n", ++cnt);
	bool signal = true;
	int len = dataSet.size();
	for (int i = 0; i < len; ++i)
	{
		int cluster = dataSet[i][2];
		vector<double> tempX = dataSet[i];
		if (cluster == clus) tempX[2] = 1;
		else tempX[2] = -1;

		double w_x = distance(w, tempX);
		if (w_x > 0) continue;
		else
		{
			SGD(w, tempX);
			signal = false;
		}
	}
	printf("本轮权重：%lf\t%lf\t%lf\n", w[0], w[1], w[2]);
	return signal;
}
// 0  1  2  3  4  5
//01 02 03 12 13 23
int selectCluster(vector<vector<double>> ww, vector<double> testx) {
	if (distance(ww[0], testx) > 0 && distance(ww[1], testx) > 0 && distance(ww[2], testx) > 0)
		return 0;
	if (distance(ww[0], testx) <= 0 && distance(ww[3], testx) > 0 && distance(ww[4], testx) > 0)
		return 1;
	if (distance(ww[1], testx) <= 0 && distance(ww[3], testx) <= 0 && distance(ww[5], testx) > 0)
		return 2;
	if (distance(ww[2], testx) <= 0 && distance(ww[4], testx) <= 0 && distance(ww[5], testx) <= 0)
		return 3;
	else
	{
		cout << "selectCluster()函数中止" << endl;
		return -1;
	}
}

源码链接

完整代码传送门

柠檬水(●ˇ∀ˇ●)
关注
  • 5
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
decision-makingTree:这是c++写的决策树
07-05
#决策树c++实现 ##算法实现 采用 ID3 和 C4.5 两种算法来实现决策树的生成，另外用使用的是李航的《统计学习方法》里面的决策树剪枝算法进行剪枝，第三个是使用随机森林算法对决策树进行优化 ##文件结构 . ├── LICENSE ├── README.MD ├── data │   └── dataset.txt ├── data description │   └── data description.txt ├── result ├── result_histogram.plt ├── run.sh ├── src │   ├── ID3AndC45RandomForest.cpp │   ├── ID3WithoutAndWithPruning.cpp │   ├── calResult.cpp │   ├── decisionMakingTree.h │   ├── en
决策树的c++实现
qq_17136695的博客
07-24 728
#include #include #include #include #include #include "jcs.h" using namespace std; void predict(jctree&jc,vector&hind, vector&attr); void predict1(jctree jc, vector&a, vector&hind,vector&attr); jct
C++单刷《机器学习实战》之二——决策树
u014080185的博客
05-01 697
算法概述：决策树是用于分类的一种常用方法，根据数据集特征值的不同，构造决策树来将数据集不断分成子数据集，直至决策树下的每个分支都是同一类或用完所有的特征值。 决策树的一般流程： （1）收集数据 （2）准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化，最好转为bool类型。 （3）分析数据：寻找能够最好地划分数据集的特征。 （4）训练：构造树的数据结构。 （5）测试：使用
机器学习实战之决策树(C++复现)
qq_42805483的博客
01-23 823
该方法为决策树ID3算法，针对 string 类型 //decisiongTree.h #ifndef DECISIONTREE_H_ #define DECISIONTREE_H_ #include<string> #include<vector> #include<map> using std::string; using std::vector; usi...
c++实现决策树分类算法(内附测试数据)
07-16
使用c++语言实现决策树分类算法，经过测试之后无需修改就可以完美运行，内附测试数据，十分方便快捷
MATLAB实现NB朴素贝叶斯多特征分类预测（完整源码和数据）
01-09
MATLAB实现NB朴素贝叶斯多特征分类预测（完整源码和数据） NB朴素贝叶斯多特征分类，不调用工具箱，数据为多输入分类数据，输出分四类,程序乱码是由于版本不一致导致，可以用记事本打开复制到你的文件。 运行环境...
【python代码实现】决策树分类算法、朴素贝叶斯分类算法以及人工神经网络分类算法的代码及数据
04-20
1、资源配合博文《【python代码实现】决策树分类算法》、《【python代码实现】朴素贝叶斯分类算法》、《【python代码实现】人工神经网络分类算法及其实战案例（股票价格波动分析）》实操可掌握： 2、决策树分类算法...
使用决策树和朴素贝叶斯算法对Adult数据集分类的源码
12-29
使用决策树和朴素贝叶斯算法对Adult数据集分类的源码，可以直接下载使用，替换输入数据即可，方便快捷
基于 python 实现朴素贝叶斯分类-决策树-PCA人脸识别
02-04
基于 python 实现朴素贝叶斯分类-决策树-PCA人脸识别 PCA人脸识别，主要针对不同训练样本数以及最近邻和三阶近邻分类算法，做出了识别率的对比分析。 决策树，主要是ID3,C4.5, CART三种算法的分析。 朴素贝叶斯分类...
C++实现朴素贝叶斯分类器(加强版)
09-14
这个和我以前传的有了一点改动就是把训练模型和预测分为了2个工程了更方便了 里面有readme.txt. 还可以看看我前面上传那个工程的“资源描述”
决策树C++实现
03-15
操作系统决策树 ComputeMapFrom2DVector(); root = BulidDecisionTreeDFS(root,remain_state,remain_attribute); cout<<"the decision tree is :"<<endl; PrintTree(root,0);
开箱即用的C++决策树简单实现
最新发布
qq_36001281的博客
12-11 669
C++决策树简单实现，一个数据结构期末作业。附大作业/课设参考文档
【机器学习】多分类及多标签分类算法（含源代码）
wzk4869的博客
01-22 9064
【机器学习】多分类及多标签分类算法（含源代码）
机器学习决策树学习算法(C++实现）
热门推荐
PiggyGaGa的博客
12-02 1万+
C++ 实现决策树学习算法 史上最简单写在前面当看到自己的程序能够将简单的例子成功运行，证明自己程序的逻辑性没有问题，真的是非常高兴，虽然需要做 的事情还有很多很多，总之还是有一些喜悦的啦，所以将我的这段工作以这篇博客记录下来，如果有人看到能和我 相互交流那再好不过了。刚刚还在知乎上面搜索了一个词是什么意思，可能大家都听过这个词：造轮子，我这次做的工作算是造轮子吧， 大牛说：放到编程中，就是说
C++简单实现C4.5算法生成决策树
YY_Song 's blogs
02-25 2217
C4.5算法实现C4.5算法简介算法解析示例数据数据处理计算类别信息熵计算各属性信息熵计算信息增益计算属性分裂信息度量计算信息增益率代码实现文件调用关系关键代码运行结果编译器结果理解结果参考资料 C4.5算法简介 C4.5算法是由Ross Quinlan开发的用于产生决策树的算法。该算法是对Ross Quinlan之前开发的ID3算法的一个扩展。C4.5算法产生的决策树可以被用作分类目的，因此该算法也可以用于统计分类。 C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习：给定一个数
基于C++语言的决策树实现
Joy的博客
11-19 1万+
   感觉好久都没有写过程序了，一直上课没有时间。最近有点空，然后就写了下西瓜书中的决策树的实现。由于本人才疏学浅，采用的实现方式和数据结构可能不合理，没有考虑代码的复杂度和时间复杂度等等，仅写下自己的实现想法（大神们就打扰了）。该程序是基于C++语言来实现的，算法就是西瓜书上面的实现算法，采用最简单的ID3算法，用信息增益来选择最优划分，进而进行决策树的实现（没有对决策树进行剪枝操作，以后有时间...
C++ ID3决策树
dayuhaitang1的博客
05-16 1946
因为自己对决策树的机制非常的好奇，所以就研究了一下决策树的ID3算法，在这也做一篇笔记记录一下过程。 文章目录一、什么是决策树？二、信息增益2.1信息熵2.1.1定义2.1.2演变2.2信息增益三、ID3算法实现四、小结 一、什么是决策树？ 这个问题是我从一开始就有的疑问，什么是决策树？在看了一些资料之后，因为没有看到书上给出具体定义，所以按照我自己的理解决策树就是通过一个个“决策”而构建的一种树状结构，而且决策树的整个处理机制非常类似于我们人类在面临决策问题时的处理机制，这也可能就是其名字的由来。 决
C++求矩阵的特征值
走向CTO的路上...
06-06 1184
然后输入一个3×3的矩阵，并按照上述步骤求解矩阵的特征值。这个程序只适用于3阶矩阵，对于其他阶数的矩阵，需要做相应的修改。假设矩阵A是一个n×n的矩阵，求解其特征值需要解决一个n次多项式的特征方程：det(A-λI) = 0，其中λ是特征值，I是n阶单位矩阵。将特征方程展开，可以得到一个n次多项式，其系数可以依次表示为矩阵A的各个子矩阵的行列式值。的函数，它可以计算一个矩阵的行列式。如果这个函数是输入一个矩阵输出它的行列式，那么求特征值能用到这样一个函数么。可以使用求解矩阵行列式的函数求解矩阵的特征值。
决策树ID3 C++实现
新博客：https://aping-dev.com/
11-10 3314
/* 思想： 每次从数据集中根据最大信息增益选取一个最好特征，将数据进行划分，每次划分都会消耗一个特征， 使得特征越来越少，当所有数据集都是同一类，或者消耗完所有特征时，划分结束。 信息熵： Entropy(D) = -sum( p_i * log_2(p_i) ) D为样本集合 1<= i <= 样本D中所包含的类别数
TextRANK算法抽取高频关键词
03-14
可以使用Python中的jieba库来实现TextRank算法抽取高频关键词。以下是一个简单的示例代码： ``` import jieba.analyse text = "这是一段需要抽取关键词的文本。" # 使用jieba.analyse.extract_tags()方法抽取关键词 keywords = jieba.analyse.extract_tags(text, topK=10, withWeight=True) # 输出抽取出的关键词及其权重 for keyword, weight in keywords: print(keyword, weight) ``` 这段代码会输出文本中权重最高的前10个关键词及其权重。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值