Softmax回归C++实现

最新推荐文章于 2024-07-31 15:02:43 发布
置顶 最新推荐文章于 2024-07-31 15:02:43 发布
阅读量6.6k 收藏 7
点赞数 2
分类专栏： 机器学习 DeepLearning 文章标签： Softmax c++ 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sq8912/article/details/45114439
版权
 前言
Softmax回归模型的理论知识上一篇博文已经介绍。C++代码来源于一个开源项目，链接地址我忘了可怜，哪天找到了再附上。对原代码改动不大，只是进行了一些扩充。

实验环境

Visual Studio 2013

数据

数据来自http://archive.ics.uci.edu/ml/datasets/Optical+Recognition+of+Handwritten+Digits，包含了26个大写字母。

里面共有20000个样本，每个样本16维。

实验目的

完成对数据集中字符样本的分类。

实验代码

1.定义一个LogisticRegression的类：

头文件 LogisticRegression.h

#include <iostream>
#include <math.h>
#include<algorithm> 
#include <functional> 
#include <string>
#include <cassert>
#include <vector>
using namespace std;
class LogisticRegression {
public:
	LogisticRegression(int inputSize, int k, int dataSize, int num_iters,double learningRate);
	~LogisticRegression();
	bool loadData(const string& filename);//加载数据
	void train();//训练函数
	void softmax(double* thetaX);//得到样本对应的属于某个类别的概率
	double predict(double* x);//预测函数
	double** getX();
	double** getY();
	void printX();
	void printY();
	void printTheta();
private:
	int inputSize;//输入特征数，不包括bias项
	int k;//类别数
	int dataSize;//样本数
	int num_iters;//迭代次数
	double **theta;//学习得到的权值参数
	double alpha;//学习速率
	double** x;//训练数据集
	double** y;//训练数据集对应的标号
};

实现文件 LogisticRegression.cpp

#include "LogisticRegression.h"
LogisticRegression::LogisticRegression(int in, int out,int size, int num_iters,double learningRate) {
	inputSize = in;
	k = out;
	alpha = learningRate;
	dataSize = size; 
	this->num_iters = num_iters;
	// initialize theta
	theta = new double*[k];
	for (int i = 0; i<k; i++) theta[i] = new double[inputSize];
	for (int i = 0; i<k; i++) {
		for (int j = 0; j<inputSize; j++) {
			theta[i][j] = 0;
		}
	}
	//initialize x
	x = new double*[dataSize];
	for (int i = 0; i<dataSize; i++) x[i] = new double[inputSize];
	for (int i = 0; i<dataSize; i++) {
		for (int j = 0; j<inputSize; j++) {
			x[i][j] = 0;
		}
	}
	//initialize y
	y = new double*[dataSize];
	for (int i = 0; i<dataSize; i++) y[i] = new double[k];
	for (int i = 0; i<dataSize; i++) {
		for (int j = 0; j<k; j++) {
			y[i][j] = 0;
		}
	}
}

LogisticRegression::~LogisticRegression() {
	for (int i = 0; i<k; i++) delete[] theta[i];
	delete[] theta;
	for (int i = 0; i < dataSize; i++)
	{
		delete[] x[i];
		delete[] y[i];
	}
	delete[] x;
	delete[] y;
}

void LogisticRegression::train() {
	for (int n = 0; n < num_iters; n++)
	{
		for (int s = 0; s < dataSize; s++)
		{
			double *py_x = new double[k];
			double *dy = new double[k];
			//1.求出theta*x
			for (int i = 0; i<k; i++) {
				py_x[i] = 0;
				for (int j = 0; j<inputSize; j++) {
					py_x[i] += theta[i][j] * x[s][j];
				}
			}
			//2.求出概率
			softmax(py_x);
			for (int i = 0; i<k; i++) {
				dy[i] = y[s][i] - py_x[i];//真实值与预测值的差异

				for (int j = 0; j<inputSize; j++) {
					theta[i][j] += alpha * dy[i] * x[s][j] / dataSize;
				}
			}
			delete[] py_x;
			delete[] dy;
		}
	}
}

void LogisticRegression::softmax(double *x) {
	double max = 0.0;
	double sum = 0.0;

	for (int i = 0; i<k; i++) if (max < x[i]) max = x[i];
	for (int i = 0; i<k; i++) {
		x[i] = exp(x[i] - max);
		sum += x[i];
	}

	for (int i = 0; i<k; i++) x[i] /= sum;
}


double LogisticRegression::predict(double *x) {
	double clsLabel;
	double* predictY = new double[k];
	for (int i = 0; i < k; i++) {
		predictY[i] = 0;
		for (int j = 0; j < inputSize; j++) {
			predictY[i] += theta[i][j] * x[j];
		}
	}
	softmax(predictY);
	double max = 0;
	for (int i = 0; i < k; i++)
	{
		if (predictY[i]>max) {
			clsLabel = i;
			max = predictY[i];
		}
	}
	return clsLabel;
}

double** LogisticRegression::getX()
{
	return x;
}
double** LogisticRegression::getY()
{
	return y;
}

bool LogisticRegression::loadData (const string& filename)
{
	const int M = 1024;
	char buf[M + 2];
	int i;
	vector<int> responses;
	FILE* f = fopen(filename.c_str(), "rt");
	if (!f)
	{
		cout << "Could not read the database " << filename << endl;
		return false;
	}
	int rowIndex = 0;
	for (;;)
	{
		char* ptr;
		if (!fgets(buf, M, f) || !strchr(buf, ','))// char *strchr(const char *s,char c):查找字符串s中首次出现字符c的位置
			break;
		y[rowIndex][buf[0] - 'A'] = 1;
		ptr = buf + 2;
		for (i = 0; i < inputSize; i++)
		{
			int n = 0;//存放sscanf当前已读取了的总字符数
			int m = 0;
			sscanf(ptr, "%d%n", &m, &n);//sscanf() - 从一个字符串中读进与指定格式相符的数据
			x[rowIndex][i] = m;
			ptr += n + 1;
		}
		rowIndex++;
		if (rowIndex >= dataSize) break;
		if (i < inputSize)
			break;
	}
	fclose(f);
	cout << "The database " << filename << " is loaded.\n";
	return true;
}

void LogisticRegression::printX()
{
	for (int i = 0; i<dataSize; i++) {
		for (int j = 0; j<inputSize; j++) {
			cout << x[i][j] << " ";
		}
		cout << endl;
	}
}
void LogisticRegression::printY()
{
	for (int i = 0; i<dataSize; i++) {
		for (int j = 0; j<k; j++) {
			cout << y[i][j] << " ";
		}
		cout << endl;
	}
}

void LogisticRegression::printTheta()
{
	for (int i = 0; i < k; i++) {
		for (int j = 0; j < inputSize; j++) {
			cout << theta[i][j] << " ";
		}
		cout << endl;
	}

}
2.代码测试： 
#include "LogisticRegression.h"
void letter_recog()
{
	double learning_rate = 0.1;
	int num_iters = 500;//迭代次数
	int train_N =10000;//训练样本个数
	int test_N = 8;//测试样本个数
	int n_in = 16;//输入特征维数
	int n_out = 26;//类别数
	LogisticRegression classifier(n_in, n_out, train_N, num_iters, learning_rate);
	classifier.loadData("letter-recognition.data");
	//训练
	classifier.train();
	// test data
	double test_X[8][16] = {
		{ 5, 10, 6, 8, 4, 7, 7, 12, 2, 7, 9, 8, 9, 6, 0, 8 },//M
		{ 6, 12, 7, 6, 5, 8, 8, 3, 3, 6, 9, 7, 10, 10, 3, 6 },//W
		{ 3, 8, 4, 6, 4, 7, 7, 12, 1, 6, 6, 8, 5, 8, 0, 8 },//N
		{ 1, 0, 1, 0, 0, 7, 8, 10, 1, 7, 5, 8, 2, 8, 0, 8 },//H
		{ 3, 6, 5, 5, 6, 6, 8, 3, 3, 6, 5, 9, 6, 7, 5, 9 },//R
		{ 7, 11, 11, 8, 7, 4, 8, 2, 9, 10, 11, 9, 5, 8, 5, 4 }, //X
		{ 6, 9, 6, 4, 4, 8, 9, 5, 3, 10, 5, 5, 5, 10, 5, 6 },//P	
		{ 4, 7, 6, 5, 5, 8, 5, 7, 4, 6, 7, 9, 3, 7, 6, 9 }//Q
	};
	// test
	for (int i = 0; i<test_N; i++) {
		double predict = classifier.predict(test_X[i]);
		char char_predict = 'A' + predict;
		cout << "predict:" << char_predict << endl;
	}
}

int main() {
	letter_recog();
	getchar();
	return 0;

输出结果：

程序中用了前1w个样本来训练分类器，整个训练过程花了328.117s。为了加快程序的运行速度，决定使用OpenMP来加速for循环。
在Visual Studio里面使用OpenMP很简单。
点击项目-->属性，进入属性页。在c/c++下面的Language中开启Open MP Support即可。
修改过后的train函数： 
void LogisticRegression::train() {
	for (int n = 0; n < num_iters; n++)
	{
#pragma omp parallel for  
		for (int s = 0; s < dataSize; s++)
		{
			double *py_x = new double[k];
			double *dy = new double[k];
			//1.求出theta*x
			for (int i = 0; i<k; i++) {
				py_x[i] = 0;
				for (int j = 0; j<inputSize; j++) {
					py_x[i] += theta[i][j] * x[s][j];
				}
			}
			//2.求出概率
			softmax(py_x);
#pragma omp parallel for  
			for (int i = 0; i<k; i++) {
				dy[i] = y[s][i] - py_x[i];//真实值与预测值的差异			
				for (int j = 0; j<inputSize; j++) {
					theta[i][j] += alpha * dy[i] * x[s][j] / dataSize; //- lambda*theta[i][j];
				}
			}
			delete[] py_x;
			delete[] dy;
		}
	}
}
修改过后的softmax函数： 
void LogisticRegression::softmax(double *x) {
	double max = 0.0;
	double sum = 0.0;
	for (int i = 0; i<k; i++) if (max < x[i]) max = x[i];
#pragma omp parallel for  
	for (int i = 0; i<k; i++) {
		x[i] = exp(x[i] - max);//防止数据溢出
		sum += x[i];
	}
#pragma omp parallel for  
	for (int i = 0; i<k; i++) x[i] /= sum;
}
输出结果：
训练时间从之前的328.117s较少到49.081s,提升了6.68倍。

从测试结果来看，分类器把R预测成了K，把X预测成了U。本文没有对分类器的准确率进行严格的测试，有兴趣的同学可以自己去测一下。

Ch-e-r-i-s-h
关注
专栏目录
C++实现softmax函数功能（附完整源码）
希望我的博客，能帮上你解决学习中工作中所遇到的问题
05-23 326
C++实现softmax函数功能（附完整源码）
Softmax回归算法对MNIST手写数字进行识别(C++实现)
05-27
1. C++实现Softmax回归算法 2. 使用Softmax回归算法对MNIST手写数字进行识别 3. 代码干净, 整洁, 有注释, 可直接迁移使用 4. 工程中以包含MNIST手写数字数据文件 5. 关于MNIST可浏览网址: http://yann.lecun.com/exdb/mnist/
C++实现softmax
weixin_46273445的博客
12-04 924
Softmax原型如下，常用于神经网络最后一层，将结果转化成(0,1)，并且相加等于1的概率。防止上下溢出，可以把xi替换为(xi-x_max)
SoftMax函数
最新发布
SisterRu的博客
07-31 520
Softmax函数是一种常用于多类分类任务的激活函数，其主要作用是将一个实数向量转换成一个概率分布。每个元素的值在(0)到(1)之间，并且所有元素的和为(1)。
激活函数之softmax介绍及C++实现
南七小僧的学海无涯
08-04 615
下溢(underflow)：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时才会表现出质的不同。例如，我们通常要避免被零除或避免取零的对数。 上溢(overflow)：当大量级的数被近似为∞或-∞时发生上溢。进一步的运算通常会导致这些无限值变为非数字。 必须对上溢和下溢进行数值稳定的一个例子是softmax函数(softmax function).softmax...
用C++实现softmax函数(面试经验)
热门推荐
concyclics的博客
04-29 2万+
背景 今天面试字节算法岗时被问到的问题，让我用C++实现一个softmax函数。softmax是逻辑回归在多分类问题上的推广。大概的公式如下： input:{x1,x2,⋯ ,xn}softmax(xt)=ext∑i=1nexi input: \{x_1, x_2,\cdots, x_n\}\\ softmax(x_t)=\frac{e^{x_t}}{\sum_{i=1}^{n}e^{x_i}} input:{x1​,x2​,⋯,xn​}softmax(xt​)=∑i=1n​exi​ext​​ 即判断该变量
C++实现回归算法(逻辑回归 线性回归)
03-17
2. **损失函数**：常用的是对数似然损失（Cross-Entropy Loss），对于二分类问题，分为二元逻辑回归（Binary Logistic Regression）和多类逻辑回归（Multinomial Logistic Regression，又称softmax回归）。...
【机器学习】线性回归（最小二乘法or梯度下降法）、多项式回归、logistic回归、softmax回归.zip
06-10
在机器学习领域，线性回归、多项式回归、逻辑回归和softmax回归是四种常见的模型，它们各有特点并广泛应用于各种预测和分类问题。本压缩包包含相关代码和数据集，帮助学习者深入理解这些概念。 1. **线性回归**： ...
NJUST机器学习课后作业python实现-朴素贝叶斯-神经网络-感知机-softmax回归-逻辑回归+源代码+文档说明
12-23
1、资源内容：NJUST机器学习课后作业python实现-朴素贝叶斯-神经网络-感知机-softmax回归-逻辑回归+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、...
softmax function in c++
weixin_30457465的博客
06-19 250
#include <iostream> #include <vector> #include <cmath> #include <algorithm> #include <numeric> double myfunction(double num) { return exp(num); } templa...
C++实现softmax函数（std::vector）
weixin_44285683的博客
08-24 991
输入vector数组，修改原数组为softmax后输出。
softmax实现
鱼香土豆丝
11-28 330
softmax 常用于预测于伯努利分布相关联的概率，具体的数学表达为： softmax(x)i=1∑j=1nexp(xj)softmax(x)_i=\frac{1}{{\sum^n_{j=1}exp{(x_j)}}}softmax(x)i​=∑j=1n​exp(xj​)1​ 也就是在机器学习中著名 的S型曲线，对数据下溢和上溢有很好的作用，具体的实现也就是如下的代码 import numpy as...
极智AI | C++ 手写 softmax 激活函数
极智视界
06-21 628
大家好，我是极智视界，本文讲解一下 C++ 手写 softmax 激活函数。
softmax 代码实现
TaoTaoFu的博客
05-08 3705
最近一直在外面，李航那本书没带在身上，所以那本书的算法实现估计要拖后了。  这几天在看Andrew Ng 机器学习的课程视频，正好看到了Softmax分类器那块，发现自己之前理解perceptron与logistic regression是有问题的。这两个算法真正核心的不同在于其分类函数的不同，perceptron采用一个分段函数作为分类器，logistic regression采用sigm
[C++][algorithm][Eigen] 基于Eigen实现Softmax函数
qq_37380933的博客
05-21 530
Softmax函数是机器学习和深度学习中一个非常重要的激活函数，它在多分类问题中尤其关键。Softmax函数能够将一个向量或一组实数转换成概率分布，使得每个元素的值都在0到1之间，并且所有元素的和为1。本博客文章《【Eigen】基于Eigen实现Softmax函数》将详细探讨如何在C++中使用Eigen库来实现Softmax函数。
OpenCV DNN下，实现softmax(C++)
winafox的专栏
05-28 2186
OpenCV DNN下实现softmax 最近在部署产品的时候，CPU平台，没有GPU，所以用到了dnn，然而，我用的pytorch，dnn没法直接加载，我导出为onnx。 第一次，我把softmax做到onnx里面，dnn模块加载就crash了，很无奈，我不得不把softmax移除，在模型外部实现，于是就有了下面的代码。 softmax c++实现with opencv int softmax(const cv::Mat & src, cv::Mat & dst) { float m
softmax 理解和c++ 实现
rongbaohan的博客
08-25 1656
int softmax(const cv::Mat& src, cv::Mat& dst) { float max = 0.0; float sum= 0.0; max = *max_element(src.begin<float>(), src.end<float>()); cv::exp((src - max), dst); sum = cv::sum(dst)[0]; ...
softmax
Jiashilin
04-17 2289
目录 一.作用: 二. ''softmax''是什么意思: 三. softmax分类器步骤有下面三步(本质) 一.作用: 他把一些输入映射为0-1之间的实数，并且归一化保证和为1 二. ''softmax''是什么意思: 顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为a，反之为b,另外一个单词...
c++ 实现softmax
09-16
softmax函数是逻辑回归在多分类问题上的推广，它可以将一组数值转化为概率分布。在C语言中实现softmax函数的代码如下： ```c #include #include void softmax(float *input, int n) { float max_val = input[0]...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值