推荐系统
文章平均质量分 86
本章主要介绍推荐系统算法及相关实战,总结自己学习过程中的笔记知识,可供对推荐方向感兴趣的同学学习。
GoAI
CSDN人工智能领域博客专家、新星计划计算机视觉方向导师、内容合伙人。阿里云社区专家博主、百度飞桨PPDE、飞桨校领航团团长、开源特训营导师,曾获多次AI比赛奖项及大厂实习,长期专注大数据与人工智能知识分享,相关合作和交流可私信。
展开
-
音乐推荐系统
音乐推荐系统流程:1.对三个数据进行预处理,合并用户与物品相关信息,数据字段包含itemid、userid、用户信息(年龄、性别、收入、地区)、物品信息(名字、描述、时长、标签)、用户行为数据(收听时长)等。2.粗排召回阶段使用CB算法,基于内容进行jieba中文分词,计算itemid对应分词的tfidf分数,整理训练数据;使用mr 协同 过滤进行相关性计算,训练得到物品之间对应分数item-item;CF算法则通过协同过滤将UI矩阵转成II矩阵,格式化数据后将结果按k/v形式批量灌入re...原创 2021-01-26 17:09:03 · 16027 阅读 · 10 评论 -
推荐模型复现(四):多任务模型ESMM、MMOE
本章为推荐模型复现第四章,使用torch_rechub框架进行模型搭建,主要介绍推荐系统召多任务模型ESMM、MMOE,包括结构讲解与代码实战,参考其他文章。原创 2022-06-27 11:54:27 · 1643 阅读 · 1 评论 -
推荐模型复现(三):召回模型YoutubeDNN、DSSM
本章主要介绍推荐系统召回模型YoutubeDNN、DSSM,包括结构讲解与代码实战,参考其他文章。原创 2022-06-24 09:25:45 · 755 阅读 · 0 评论 -
推荐模型复现(二):精排模型DeepFM、DIN
DeepFM主要在FNN和PNN的基础上,采用并行方式,结合FM Layer和Deep Layer,提高模型计算效率。主要功能:有效地训练出交叉特征的权重模型公式:FM Layer主要是由一阶特征和二阶特征组合,再经过Sigmoid得到logitsFM Layer的优点:2. DIN (深度兴趣网络)2.1 DIN产生背景 历史信息关注度不足 单方面点击预测难以预测用户广泛的兴趣 历史数据量大2.2 DIN模型正在上传…重新上传取消Activation Unit: 作用:原创 2022-06-24 09:16:20 · 735 阅读 · 0 评论 -
推荐模型复现(一):熟悉Torch-RecHub框架与使用
Torch-RecHub主要由数据处理模块、模型层模块和训练器模块组成: 以下采用小样本的criteo数据集,仅有115条数据。该数据集是发布的在线广告数据集。它包含数百万个展示广告的点击反馈记录,该数据可作为点击率(CTR)预测的基准。数据集具有40个特征,第1列是标签,其中值1表示已点击广告,而值0表示未点击广告。其他特征包含13个dense特征和26个sparse特征。Copy to clipboardErrorCopiedCopy to clipboardErrorCopied5 ..原创 2022-06-22 09:42:17 · 1279 阅读 · 0 评论 -
推荐系统理论与实践
推荐系统意义:推荐系统是利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过...原创 2020-09-23 08:18:39 · 367 阅读 · 0 评论 -
推荐系统-Task05推荐系统流程构建
推荐系统基本流程:Offilne部分:主要是基于离线物料系统生成的物料画像和用户画像进行处理,为每个用户生成热门页列表和推荐页列表,并将其存储到Redis中 Online部分:主要是针对不同的用户,使用不同的策略,提供热门页列表和推荐页列表的新闻数据,进行过滤排序之后,展示到前端页面上后续更新!...原创 2021-12-30 21:47:46 · 1784 阅读 · 1 评论 -
推荐系统-Task04前后端基础及交互
项目流程:交互基本流程 本项目的前端采用基于vue框架的Vant UI组件库,完成用户注册页、用户退出页、用户热门列表页、用户推荐列表页、新闻详情页等功能;后端采用Flask框架,使用MySQL、MongoDB和Redis作为数据存储,根据新闻推荐系统的整体功能,提供用户注册、用户登录、用户推荐页列表、用户热门页列表、新闻详情、用户行为等服务请求,完成用户从注册到新闻浏览、点赞和收藏的全流程。vue介绍:架构图以及vue的简介 - Dawnzhang - 博客园架..原创 2021-12-27 17:33:04 · 789 阅读 · 1 评论 -
推荐系统-Task03离线物料系统的构建
如上图所示,离线部分的物料系统流程分为物料爬取、画像构建,用户画像更新与构建。离线系统基本内容:新闻物料爬取:主要采用scrapy爬虫工具,在每天晚上23点将当天的新闻内容从网页中进行抓取,存入MongoDB的SinaNews数据库中。 物料画像构建:更新当天新闻动态画像,将用户对前一天新闻的交互,包括阅读、点赞和收藏等行为(动态)存入Redis中;对物料画像处理,将新闻静态和动态数据分别存入对应的Redis中。 用户画像构建:用户通过前端注册页面,进行用户注册,将用户信息存入MySQL的...原创 2021-12-22 19:45:55 · 1046 阅读 · 0 评论 -
推荐系统-Task02数据库基本使用
一、Mysql数据库Mysql安装参考:最新版MySQL 8.0.22(Windows 64位)下载安装详细方法_AStackhouze的博客-CSDN博客最新版MySQL 8.0.22(Windows 64-bit)下载安装详细方法前言一、MySQL 8.0.22官网下载二、设置环境变量三、创建初始化文件mysql.ini三、对MySQL进行初始化总结前言前几天下载安装了最新版的MySQL 8.0.22,遇到了不少问题,参考了一些方法,最终得以解决。今天将自己的安装过程记录下来,希望对各位有所帮助原创 2021-12-21 11:58:50 · 165 阅读 · 0 评论 -
推荐系统-Task01熟悉新闻推荐系统基本流程
新闻推荐系统项目流程讲解:https://datawhale.feishu.cn/minutes/obcnzns778b725r5l535j32ohttps://datawhale.feishu.cn/minutes/obcnzns778b725r5l535j32oDW学习资料:GitHub - datawhalechina/fun-rec: 本推荐算法教程主要是针对具有机器学习基础并想找推荐算法岗位的同学,教程由推荐算法基础、推荐算法入门赛、新闻推荐项目及推荐算法面经组成,形成了一个完整的从基础到实原创 2021-12-17 21:19:37 · 2546 阅读 · 2 评论 -
深度学习推荐模型-NFM
深度学习推荐模型-NFM本文参考链接,仅供个人学习:https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel相关学习书籍推荐:《深度学习推荐系统》王喆原创 2021-03-25 00:16:58 · 583 阅读 · 0 评论 -
深度学习推荐模型-DeepCrossing
深度学习推荐模型-DeepCrossing背景特征工程是绕不开的话题,巧妙的特征组合也许能够为模型带来质的提升。但同时,特征工程耗费的资源也是相当可观的,对于后期模型特征的维护、模型线上部署不太友好。2016年,微软提出Deep Crossing模型,旨在解决特征工程中特征组合的难题,降低人力特征组合的时间开销,通过模型自动学习特征的组合方式,也能达到不错的效果,且在各种任务中表现出较好的稳定性。与之前介绍的FNN、PNN不同的是,Deep Crossing并没有采用显式交叉特征的方式,而是利用原创 2021-03-16 10:58:41 · 620 阅读 · 0 评论 -
深度学习推荐模型-Wide&Deep
本文参考链接,仅供个人学习:https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel相关学习书籍推荐:《深度学习推荐系统》王喆Wide & Deep介绍Wide & Deep ModelMemorization:之前大规模稀疏输入的处理是:通过线性模型 + 特征交叉。所带来的Memorization以及记忆能力非常有效和可解释。但是Generalizat.原创 2021-03-18 20:31:48 · 375 阅读 · 0 评论 -
深度学习推荐模型-DIN
深度学习推荐模型-DIN本文参考链接,仅供个人学习:https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel相关学习书籍推荐:《深度学习推荐系统》王喆DIN介绍Deep Interest Network(DIN)是盖坤大神领导的阿里妈妈的精准定向检索及基础算法团队,在2017年6月提出的。它针对电子商务领域(e-commerce industry)的CTR预估,重点在原创 2021-03-27 20:48:16 · 645 阅读 · 0 评论 -
深度学习推荐模型-DeepFM
深度学习推荐模型-DeepFM本文参考链接,仅供个人学习:https://github.com/datawhalechina/team-learning-rs/tree/master/DeepRecommendationModel相关学习书籍推荐:《深度学习推荐系统》王喆原创 2021-03-21 17:54:49 · 637 阅读 · 0 评论 -
Spark实现协同过滤CF算法实践
Spark编写Scala实现CF算法UI矩阵–>II矩阵–>排序数据文件:user_item_score.data下载链接:https://pan.baidu.com/s/1JH571UUbu_Hd2p2D1y87Rw 提取码:43vk原创 2021-01-26 17:14:55 · 345 阅读 · 0 评论 -
推荐算法详解
详细介绍各类推荐算法图表,含传统CTR及深度学习CTR预估模型,图表包括原理、特点、公式、结构及相关扩展等。图表出自网络,仅供个人学习,侵权联系删除。高清图片下载:https://download.csdn.net/download/qq_36816848/16487153?spm=1001.2014.3001.55011.推荐系统_Graph_Embedding涵盖:Word2Vec、Item2Vec、DeepWalk、Node2Vec、EGES2.推荐系统-传统CTR涵盖:协同过原创 2021-04-06 12:06:58 · 929 阅读 · 1 评论 -
各类推荐算法图表详解
详细介绍各类推荐算法图表,含传统CTR及深度学习CTR预估模型,图表包括原理、特点、公式、结构及相关扩展等。图表出自网络,仅供个人学习,侵权联系删除。深度学习CTR多任务学习原创 2021-04-06 11:52:58 · 559 阅读 · 0 评论 -
TF-IDF及相似度计算
一: 基于TF-IDF的关键词提取TF-IDF:衡量某个词对文章的重要性由TF和IDF组成TF:词频(因素:某词在同一文章中出现次数)IDF:反文档频率(因素:某词是否在不同文章中出现)TF-IDF = TF*IDFTF :一个单词在一篇文章出现次数越多越重要IDF: 每篇文章都出现的单词(如的,你,我,他) ,越不重要...原创 2020-09-01 13:59:31 · 3535 阅读 · 0 评论 -
协同过滤算法实战
1.协同过滤思想:协同过滤算法是一种较为著名和常用的推荐算法,它基于对用户历史行为数据的挖掘发现用户的喜好偏向,并预测用户可能喜好的产品进行推荐。也就是常见的“猜你喜欢”,和“购买了该商品的人也喜欢”等功能。它的主要实现由:●根据和你有共同喜好的人给你推荐●根据你喜欢的物品给你推荐相似物品●根据以上条件综合推荐通过用户桥梁知道不同物品相关度:如正在访问itemA,看itemA又被哪些用户访问过,在进一步看这些用户历史上还看了哪些物品,比如物品B,C,D,经过倒排索引思路形成itemA=itemB原创 2021-02-24 11:08:10 · 803 阅读 · 1 评论 -
协同过滤算法理论
1. 协同过滤算法协同过滤(Collaborative Filtering)推荐算法是最经典、最常用的推荐算法。所谓协同过滤,基本思想是根据用户之前的喜好以及其他兴趣相近的用户的选择来给用户推荐物品(基于对用户历史行为数据的挖掘发现用户的喜好偏向,并预测用户可能喜好的产品进行推荐),一般是仅仅基于用户的行为数据(评价、购买、下载等),而不依赖于项的任何附加信息(物品自身特征)或者用户的任何附加信息(年龄, 性别等)。目前应用比较广泛的协同过滤算法是基于邻域的方法,而这种方法主要有下面两种算法:原创 2021-02-04 11:40:29 · 1319 阅读 · 1 评论