机器学习-基于矩阵分解算法的梯度下降推荐系统 (C++实现)

已于 2023-04-04 16:22:39 修改
阅读量372 收藏 4
点赞数 3
文章标签： 机器学习 推荐算法 矩阵 c++
于 2023-04-04 16:08:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52378133/article/details/129953310
版权
该文章介绍了一个使用矩阵分解的推荐系统模型，通过用户和商品的向量表示预测评分。模型采用梯度下降法优化，包含正则化项以防止过拟合，并通过均方根误差和平均绝对误差评估性能。代码实现了C++版本的模型训练和测试过程。
摘要由CSDN通过智能技术生成

N个用户，M个商品，分别有若干评分r_{ij}，要求预测用户对未评分商品的评分值

定义每个用户为一维向量p，代表对某个商品各特征的重视程度，向量维数为K
定义每个商品为一维向量q，代表该商品各特征值，向量维数为K

其中向量维数K为可调超参数

某个用户对某个商品的预测打分值可定义为（向量内积）：

\hat{r_{ij}}=p^{T}q=\sum _{k=1}^{K}\textrm{}p_{ik}q_{jk}

其中i代表第i个用户，j代表第j个商品，K代表向量的总维数，k代表遍历向量的某一维

损失函数定义为所有(标签-预测值)平方的总和：

loss=e_{ij}^{2}=\sum (r_{ij}-\hat{r{ij}})^{2}=\sum (r_{ij}-\sum _{k=1}^{K}\textrm{}p_{ik}q_{jk})^{2}

算法定义为损失函数分别对用户向量和商品向量求偏导（梯度下降），从而分别对用户向量和商品向量更新：

\frac{\partial e_{ij}^{2}}{\partial p_{ik}}=2e_{ij}(-q_{jk})

\frac{\partial e_{ij}^{2}}{\partial q_{jk}}=2e_{ij}(-p_{ik})

更新参数（更新向量的参数直至使其适应训练集）的公式如下：

p_{ik}=p_{ik}-\lambda\frac{\partial e_{ij}^{2}}{\partial p_{ik}}=p_{ik}+2\lambda e_{ij}q_{jk} (k=1,k=2,...,k=K)

q_{jk}=q_{jk}-\lambda\frac{\partial e_{ij}^{2}}{\partial q_{jk}}=q_{jk}+2\lambda e_{ij}p_{ik} (k=1,k=2,...,k=K)

其中\lambda代表步长，即学习率，为可调超参数

评价模型本代码使用以下两个值：

均方根误差：RMSE=\sqrt{\frac{\sum (r_{ij}-\hat{r{ij}})^{2}}{\left |T \right |}}

平均绝对误差：MAE=\frac{\sum \left |r_{ij}-\hat{r_{ij}} \right |}{\left |T \right |}

其中T代表预测样本的数量，即测试集的大小（行数）

通过引入正则化来防止模型的过拟合：

正则化的引入需要改变损失函数，通过让每一次损失函数的计算都有固定存在的小损失来实现

带有正则化的损失函数定义为所有(标签-预测值)平方再加上正则化项的总和：

loss=e_{ij}^{2}=\sum \left \{ (r_{ij}-\hat{r{ij}})^{2}+\frac{\beta }{2}[\sum _{k=1}^{K}\textrm{}(p_{ik}^{2}+q_{jk}^{2})] \right \}

与之前相比只是多了正则化项，其中\beta代表正则化参数，为可调超参数

算法定义为损失函数分别对用户向量和商品向量求偏导（梯度下降），从而分别对用户向量和商品向量更新：

\frac{\partial e_{ij}^{2}}{\partial p_{ik}}=-2e_{ij}q_{jk}+\beta p_{ik}

\frac{\partial e_{ij}^{2}}{\partial q_{jk}}=-2e_{ij}p_{ik}+\beta q_{jk}

更新参数（更新向量的参数直至使其适应训练集）的公式如下：

p_{ik}=p_{ik}-\lambda\frac{\partial e_{ij}^{2}}{\partial p_{ik}}=p_{ik}-\lambda (-2e_{ij}q_{jk}+\beta p_{ik}) (k=1,k=2,...,k=K)

q_{jk}=q_{jk}-\lambda\frac{\partial e_{ij}^{2}}{\partial q_{jk}}=q_{jk}-\lambda (-2e_{ij}p_{ik}+\beta q_{jk}) (k=1,k=2,...,k=K)

其中\lambda仍代表步长，即学习率，为可调超参数

评价模型仍然使用以下两个值：

均方根误差：RMSE=\sqrt{\frac{\sum (r_{ij}-\hat{r{ij}})^{2}}{\left |T \right |}}

平均绝对误差：MAE=\frac{\sum \left |r_{ij}-\hat{r_{ij}} \right |}{\left |T \right |}

其中T代表预测样本的数量，即测试集的大小（行数）

运行平台与环境：Windows11，VisualStudio2022

下面放代码qwq：

//基于矩阵分解算法的梯度下降推荐系统模型 (C++实现) 2023.3.30
#pragma GCC optimize(2)
#include<bits/stdc++.h>
#include<fstream>
#define ll long long int

using namespace std;
constexpr ll N = 1e6 + 10;

int K = 10; //权重参数向量的维数(用户向量的维数/商品向量的维数)
double a = 0.0001; //学习率
double b = 0.005; //正则化系数

char letter[N] = { '\0' };
string words;

list<int> trains[800010]; //读入的训练集
list<int> tests[300010]; //读入的测试集

vector<double> w_p[8010]; //用户权重参数
vector<double> w_q[6010]; //商品权重参数

void initR() //初始化读入数据集
{
	ifstream readFile;
	readFile.open("train.txt", ios::in);

	words.clear();
	for (int i = 0; i <= 1e6; ++i) letter[i] = '\0';
	
	int sep = 0;
	while (readFile >> letter)
	{
		words += letter;
		if (sep != 2) { ++sep; words += " "; }
		else { sep = 0; words += "\n"; }
	}

	readFile.close();

    int cnt = 1, div = 0;
    string ins1, ins2, ins3;
    for (int i = 0; words[i] != '\0'; ++i)
    {
        if (div != 3)
        {
            if (words[i] != ' ' && words[i] != '\n')
            {
                if (div == 0) ins1 += words[i];
                if (div == 1) ins2 += words[i];
                if (div == 2) ins3 += words[i];
            }
            if (words[i] == ' ' || words[i] == '\n')
            {
                ++div;
            }
        }
        if (words[i] == '\n')
        {
			trains[cnt].push_back(stoi(ins1));
			trains[cnt].push_back(stoi(ins2));
			trains[cnt].push_back(stoi(ins3));

			++cnt;
            div = 0;
            ins1.clear();
            ins2.clear();
            ins3.clear();
        }
    }


	readFile.open("test.txt", ios::in);

	words.clear();
	for (int i = 0; i <= 1e6; ++i) letter[i] = '\0';

	sep = 0;
	while (readFile >> letter)
	{
		words += letter;
		if (sep != 2) { ++sep; words += " "; }
		else { sep = 0; words += "\n"; }
	}

	readFile.close();

	cnt = 1, div = 0;
	ins1.clear(), ins2.clear(), ins3.clear();
	for (int i = 0; words[i] != '\0'; ++i)
	{
		if (div != 3)
		{
			if (words[i] != ' ' && words[i] != '\n')
			{
				if (div == 0) ins1 += words[i];
				if (div == 1) ins2 += words[i];
				if (div == 2) ins3 += words[i];
			}
			if (words[i] == ' ' || words[i] == '\n')
			{
				++div;
			}
		}
		if (words[i] == '\n')
		{
			tests[cnt].push_back(stoi(ins1));
			tests[cnt].push_back(stoi(ins2));
			tests[cnt].push_back(stoi(ins3));

			++cnt;
			div = 0;
			ins1.clear();
			ins2.clear();
			ins3.clear();
		}
	}

	return;
}

void initW(int K) //初始化权重参数
{
	int r;
	srand((unsigned int)time(NULL));
	for (int i = 1; i <= 8000; ++i)
	{
		w_p[i].resize(K); //每个用户为长度K的向量，最多8000个用户
		for (int j = 0; j < K; ++j)
		{
			r = rand() % 9 + 1; //随机[1, 9]以内的整数
			w_p[i][j] = (double)r / 10; //每个权重参数初始化为[0.1, 0.9]之间的浮点数
		}
	}
	for (int i = 1; i <= 6000; ++i)
	{
		w_q[i].resize(K); //每个商品为长度K的向量，最多6000个商品
		for (int j = 0; j < K; ++j)
		{
			r = rand() % 9 + 1; //随机[1, 9]以内的整数
			w_q[i][j] = (double)r / 10; //每个权重参数初始化为[0.1, 0.9]之间的浮点数
		}
	}

	return;
}

double calc(int i, int j) //计算内积(第i个用户向量和第j个商品向量)
{
	double res = 0;
	for (int k = 0; k < K; ++k) res += w_p[i][k] * w_q[j][k];
	return res;
}

void TRAIN(int EPOCH)
{
	double loss = 0.0; //当前轮的loss
	for (int epoch = 1; epoch <= EPOCH; ++epoch)
	{
		loss = 0.0;
		for (int i = 1; i <= 800000; ++i)
		{
			if (trains[i].size() == 0) break;

			int userid = 0, goodid = 0, score = 0;
			for (auto it = trains[i].begin(); it != trains[i].end(); ++it)
			{
				if (userid == 0) userid = *it;
				else if (goodid == 0) goodid = *it;
				else if (score == 0) score = *it;
			}

			double e; //预测值与标签的差值
			for (int k = 0; k < K; ++k)
			{
				//不带正则化的权重更新
				e = score - calc(userid, goodid);
				w_p[userid][k] = w_p[userid][k] + 2.0 * a * e * w_q[goodid][k];
				loss += e * e;

				e = score - calc(userid, goodid);
				w_q[goodid][k] = w_q[goodid][k] + 2.0 * a * e * w_p[userid][k];
				loss += e * e;


				/*//带正则化的权重更新
				e = score - calc(userid, goodid);
				w_p[userid][k] = w_p[userid][k] - a * (-2 * e * w_q[goodid][k] + b * w_p[userid][k]);
				loss += e * e;

				e = score - calc(userid, goodid);
				w_q[goodid][k] = w_q[goodid][k] - a * (-2 * e * w_p[userid][k] + b * w_q[goodid][k]);
				loss += e * e;*/
			}
		}

		cout << fixed << setprecision(6);
		cout << "epoch" << epoch << "->loss=" << loss << "\n";
	}
}

void TEST()
{
	int T = 0; //测试集中样本数据的数量(测试集行数)
	double mae = 0; //平均绝对误差
	double rmse = 0; //均方根误差

	for (int i = 1; i <= 300000; ++i)
	{
		if (tests[i].size() == 0) break;

		int userid = -1, goodid = -1, score = -1;
		for (auto it = tests[i].begin(); it != tests[i].end(); ++it)
		{
			if (userid == -1) userid = *it;
			else if (goodid == -1) goodid = *it;
			else if (score == -1) score = *it;
		}

		double e; //预测值与标签的差值
		e = score - calc(userid, goodid);
		mae += e;
		e = e * e;
		rmse += e;

		++T;
	}

	rmse /= T;
	rmse = sqrt(rmse);
	mae /= T;

	cout << fixed << setprecision(6);
	cout << "均方根误差RMSE=" << rmse << "\n";
	cout << "平均绝对误差MAE=" << mae << "\n";
}

int main()
{
	ios::sync_with_stdio(false); cin.tie(0); cout.tie(0);

	initR();
	initW(K);

	TRAIN(300);
	TEST();

	return 0;
}

训练集train.txt 和 测试集test.txt 的下载路径如下：

链接: https://pan.baidu.com/s/1077UD5BhAiqiiCTI4SbaAw 提取码: stet 

训练集和测试集记事本中数据的格式：
每行三个整数，分别代表 <用户编号> <商品编号> <某用户对某商品的评分>

记得把两个记事本放在工程根目录下哦qwq

_飘零天穹
关注
梯度下降C++实现
AbBaCl的博客
12-16 3442
梯度下降是机器学习的基础内容，而机器学习又是人工智能这个领域非常基础的内容。现在我机器学习刚刚入门了不久，所以来讲述一下已经可以熟练应用的梯度下降该怎么用C++来实现。 首先需要描述一下梯度下降一般会应用在什么情景中。 比如说，我们现在想要求一个z = f(x, y)的这个f函数。经过理论推导，我们已经知道了f(x, y) = ax + by，但是参数a和b是由实际材料或者其他
推荐系统之协同过滤的原理及C++实现
weixin_33943836的博客
12-24 231
1.引言 假如你经营着一家网店，里面卖各种商品（Items）,有很多用户在你的店里面买过东西，并对买过的Items进行了评分，我们称之为历史信息，现在为了提高销售量，必须主动向用户推销产品，所以关键是要判断出用户除了已经买过的商品之外还会喜欢哪些商品，这就需要利用用户购买商品过程产生的历史信息。协同过滤通常分为基于用户的协同过滤和基于商品的协同过滤。 基于用户的协同过滤：利用用户之间的相似...
基于C++的图书推荐与管理系统
毕业作品网站
01-21 1206
该系统实现了一个关于图书的评论与推荐系统，类似亚马逊、当当与豆瓣。该系统使用 C++ 作为编程语言，并使用了 Qt 程序开发框架完成了程序的可视化，搭建了类似 PC 版 QQ 风格的界面，具有很高的美观度。本系统针对图书推荐这一核心功能采用了基于用户的协同过滤算法，并结合基于人口统计学的冷启动推荐算法完成了推荐模块的设计。数据集 ：http://www2.informatik.uni-freiburg.de/~cziegler/BX/数据集三个 CSV 文件请手动去掉文件最后一行的空行！！！！！！！！并在编
【ccf】201909-4推荐系统（C++）【多路归并+set维护有序序列】
星星亮了bulingbuling~
04-09 334
更多题目请看CCF历年真题汇总 题目描述 输入 2 3 1 3 2 2 3 1 8 3 100 1 1 1 0 4 3 1 0 5 1 3 10 2 2 3 10 1 1 2 0 1 3 2 1 1 3 1 1 1 输出 1 1 1 4 1 2 1 1 4 1 4 -1 思路 set 可以在nlogn 复杂度之内动态维护一个有序序列。所以用set<PII>维护每一类商品的{id， score}. (PII 是 pair<int,int>) score是从大到小小选，所以
机器学习C++源码解析-线性回归linereg算法-源码+数据
08-11
线性回归是统计学和机器学习领域中一种基础且重要的算法，主要用于预测连续数值型的目标变量。在C++中实现线性回归可以帮助开发者更深入地理解算法原理，并将其应用于实际项目。本文将深入探讨线性回归（Linereg）...
简单的梯度下降C++实现
04-04
梯度下降是一种优化算法，广泛应用于机器学习领域，用于寻找...通过深入研究这些文件，不仅可以理解梯度下降算法的原理，还可以学习如何在C++环境中实现和应用机器学习算法，这对于提升编程和机器学习技能非常有帮助。
机器学习C++源码解析-深度神经网络DNN算法-源码+数据
08-07
深度神经网络（Deep Neural Network，简称DNN）是机器...总的来说，这个资源包为深入学习C++实现DNN提供了一个实践平台，通过研究源码，你可以掌握DNN的核心算法和C++编程技巧，进一步提升你在机器学习领域的专业技能。
具有随机梯度下降(SGD)的CUDA矩阵分解库_C++_Cuda_下.zip
最新发布
04-13
矩阵分解是机器学习和数据挖掘中的重要技术，常用于推荐系统、图像处理等场景。 随机梯度下降（Stochastic Gradient Descent, SGD）是一种优化算法，用于寻找损失函数的最小值。它与传统的梯度下降不同，每次迭代时...
机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据
08-07
这个压缩包中的“机器学习C++源码解析-条件随机场CRF_CWS算法-源码+数据”很可能是包含了CRF模型的C++实现代码以及相关的训练和测试数据集，供开发者学习和研究使用。通过阅读和理解这些源码，你可以深入了解CRF的...
基于物品的协同过滤推荐算法 c++实现 源码
02-20
基于邻域推荐算法中，基于物品的协调过滤推荐算法 itemCF 的visual c++ 的实现代码，MovieLens数据集。
梯度下降求函数极值C++代码
01-23
用C++实现了梯度下降求多元函数极值的算法，有可能会陷入局部最优解。
推荐系统之基于二部图的个性化推荐系统原理及C++实现
u014114990的专栏
09-01 1244
推荐系统之基于二部图的个性化推荐系统原理及C++实现 时间 2014-12-27 16:43:00  博客园-原创精华区 原文  http://www.cnblogs.com/90zeng/p/ProbS.html 主题 推荐系统 1 #include 2 #include 3 #include 4 #include string> 5 #includ
C++实现基于用户的协同过滤大数据电影推荐系统
毕业作品网站
11-01 1080
如果已知用户A喜欢《蜘蛛侠》、《奇异博士》、《美国队长》、《绿巨人》等漫威超级英雄系列电影，另外用户B也都喜欢这些电影，此外B还喜欢《钢铁侠》，则A很有可能也喜欢《钢铁侠》，故我们可以预测用户A对于《钢铁侠》的打分会较高。（4）统计计算Pearson系数需要的数据，存在Pearson矩阵中。（5） 求用户A和用户B的Pearson相似度 8。（2）统计所有产品的得分平均值：49.545。（7） 最后产品得分中的rxi的值 11。（6） 最后产品得分中的bxi的值 9。（1）统计用户数量：19835。
Search Suggestions System（C++搜索推荐系统）
coolsunxu的博客
03-10 237
Search Suggestions System（C++搜索推荐系统）
c++实现梯度下降算法
u014133104的博客
04-15 3830
#include &lt;iostream&gt; #include &lt;utility&gt; #include &lt;vector&gt; using namespace std; pair&lt;double,double&gt; trian_data(vector&lt;pair&lt;double,double&gt;&gt; v) { double theta_zero...
梯度下降算法的C++实现
yqtao的博客
09-27 6396
#include<iostream> #include<vector> #include<fstream> using namespace std; int main() { double theta0 = 0, theta1 = 0; double v = 0.005; double cost = INT_MAX; vector<double>x; vector<doubl
C++实现梯度下降(gradient descent)算法
GaoJieVery6
09-09 6472
0.综述 算法很好理解，求偏导然后更新theta矩阵，可以解决线性回归相关的问题。 1.几点说明 a.代码中的Matrix类是我自己写的一个矩阵相关的类，支持矩阵的加减乘除，转置运算。 b.关于学习速率alpha的确定，我的建议是alpha要保证每次梯度下降theta矩阵内元素的变化在0.01-0.05内。 c.数据超过500时，即max1，max2超过500时，使用默认的栈可能...
leetcode 1268. 搜索推荐系统（C++）
qq_27060423的博客
11-24 452
给你一个产品数组products和一个字符串searchWord，products 数组中每个产品都是一个字符串。 请你设计一个推荐系统，在依次输入单词searchWord的每一个字母后，推荐products数组中前缀与searchWord相同的最多三个产品。如果前缀相同的可推荐产品超过三个，请按字典序返回最小的三个。 请你以二维列表的形式，返回在输入searchWor...
C++后台开发与推荐算法面试题精选
资源摘要信息:"C++开发、机器学习、深度学习、推荐算法基础知识及面试题总结.zip" 1. C++开发基础知识点 C++是一种静态类型、编译式、通用的编程语言，它被广泛应用于软件开发领域，包括操作系统、游戏开发、嵌入式...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值