电商推荐系统
文章平均质量分 76
电商推荐系统
Knight_AL
这个作者很懒,什么都没留下…
展开
-
大数据技术之电商推荐系统(8) | 实时推荐服务建设
目录一.实时推荐服务二.实时推荐模型和代码框架实时推荐模型算法设计实时推荐模块框架三.实时推荐算法的实现获取用户的K次最近评分获取当前商品最相似的K个商品商品推荐优先级计算将结果保存到mongoDB一.实时推荐服务 实时计算与离线计算应用于推荐系统上最大的不同在于实时计算推荐结果应该反映最近一段时间用户近期的偏好,而离线计算推荐结果则是根据用户从第一次评分起的所有评分记录来计算用户总体的偏好。 &n原创 2020-12-09 20:33:03 · 1906 阅读 · 1 评论 -
大数据技术之电商推荐系统(7) | ALS模型评估和参数选取
在上述模型训练的过程中,我们直接给定了隐语义模型的rank,iterations,lambda三个参数。对于我们的模型,这并不一定是最优的参数选取,所以我们需要对模型进行评估。通常的做法是计算均方根误差(RMSE),考察预测评分与实际评分之间的误差。有了RMSE,我们可以就可以通过多次调整参数值,来选取RMSE最小的一组作为我们模型的优化选择。在scala/com.donglin.offline/下新建单例对象ALSTrainer,代码主体架构如下:import breeze.numerics..原创 2020-12-01 10:40:35 · 2095 阅读 · 2 评论 -
大数据技术之电商推荐系统(6) | 基于LFM的离线推荐模块
目录用户商品推荐列表商品相似度矩阵扩展写到Mysql里用户商品推荐列表通过ALS训练出来的Model来计算所有当前用户商品的推荐列表,主要思路如下:1.userId和productId做笛卡尔积,产生(userId,productId)的元组2.通过模型预测(userId,productId)对应的评分。3.将预测结果通过预测分值进行排序。4.返回分值最大的K个商品,作为当前用户的推荐列表。最后生成的数据结构如下:将数据保存到MongoDB的UserRecs表中新建recommender的原创 2020-11-30 14:54:07 · 1158 阅读 · 0 评论 -
大数据技术之电商推荐系统(5) | 离线推荐服务
目录一.离线统计服务统计服务主体框架扩展写到Mysql里一.离线统计服务 离线推荐服务是综合用户所有的历史数据,利用设定的离线统计算法和离线推荐算法周期性的进行结果统计与保存,计算的结果在一定时间周期内是固定不变的,变更的频率取决于算法调度的频率。 离线推荐服务主要计算一些可以预先进行统计和计算的指标,为实时计算和前端业务相应提供数据支撑。 离线推荐服务主要分为统计推荐、基于隐语义模型的协同过滤推荐以及基于内容和基于Item-CF的相似推荐。我们这一章主要介绍前两部分,基于内容和Item-CF的原创 2020-11-28 18:01:19 · 1008 阅读 · 0 评论 -
大数据技术之电商推荐系统(4) | 初始化业务数据
目录一.数据加载准备Products数据集Ratings数据集日志管理配置文件二.数据初始化到MongoDB启动MongoDB数据库(略)数据加载程序主体实现一.数据加载准备在src/main/目录下,可以看到已有的默认源文件目录是java,我们可以将其改名为scala。将数据文products.csv,ratings.csv复制到资源文件目录src/main/resources下,我们将从这里读取数据并加载到mongodb中。数据链接:https://pan.baidu.com/s/1eYfyuz原创 2020-11-27 19:41:37 · 1118 阅读 · 0 评论 -
大数据技术之电商推荐系统(3) | 创建项目
目录一.在IDEA中创建maven项目项目框架搭建声明项目中工具的版本信息添加项目依赖 我们的项目主体用Scala编写,采用IDEA作为开发环境进行项目编写,采用maven作为项目构建和管理工具。一.在IDEA中创建maven项目打开IDEA,创建一个maven项目,命名为ECommerceRecommendSystem。为了方便后期的联调,我们会把业务系统的代码也添加进来,所以我们可以以ECommerceRecommendSystem作为父项目,并在其下建一个名为recommender的子项目,原创 2020-11-26 18:08:03 · 840 阅读 · 0 评论 -
大数据技术之电商推荐系统(2) | 工具环境搭建
我们的项目中用到了多种工具进行数据的存储、计算、采集和传输,本章主要简单介绍设计的工具环境搭建。 如果机器的配置不足,推荐只采用一台虚拟机进行配置,而非完全分布式,将该虚拟机CPU的内存设置的尽可能大,推荐为CPU > 4、MEM > 4GB。MongoDB环境配置https://blog.csdn.net/qq_46548855/article/details/109679622Redis环境配置https://blog.csdn.net/qq_46548855/article..原创 2020-11-25 16:17:18 · 620 阅读 · 0 评论 -
大数据技术之电商推荐系统(1) | 项目体系架构设计
目录一.项目体系架构设计项目系统架构项目数据流程数据模型一.项目体系架构设计项目系统架构 项目以推荐系统建设领域知名的经过修改过的中文亚马逊电商数据集作为依托,以某电商网站真实业务数据架构为基础,构建了符合教学体系的一体化的电商推荐系统,包含了离线推荐与实时推荐体系,综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。提供了从前端应用、后台服务、算法设计实现、平台部署等多方位的闭环的业务实现。 用户可视化:主要负责实现和用户的交互以及业务数据的展示,主体采用AngularJS2进行实现,原创 2020-11-23 20:28:17 · 1531 阅读 · 0 评论