第1节：推荐系统介绍

已于 2023-06-15 23:51:49 修改
阅读量65 收藏
点赞数
分类专栏： 推荐系统 文章标签： 推荐算法
于 2023-06-15 23:48:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49131823/article/details/131237599
版权
推荐系统通过分析用户行为，实现个性化推荐，如抖音和京东的案例所示。它始于亚马逊，随着Netflix竞赛和深度学习的发展而进步。推荐系统目标包括相关性、新颖性、偶然性和多样性，并通过用户满意度、覆盖率和多样性等指标评估效果。深度学习解决了传统特征工程的难题，使模型训练更高效。文章讨论了推荐系统中的技术如Embedding、NLP、知识图谱和CV，并涉及冷启动问题和解决策略。
摘要由CSDN通过智能技术生成

什么是推荐系统呢？

  • 高度总结：来了就别想走了，抖音一刷一整天，微博越刷越过瘾

在这里插入图片描述

好产品都推荐的好

  • 大数据时代也带来了一些问题，信息太多了，到底哪个是我需要的？
  • 话题很多，感兴趣的却很少，这就需要推荐系统来登场了
  • 抖音越刷越是自己喜欢的东西（导致不敢让别人别我抖音了）
  • 京东越买越想买（导致不敢乱搜索了，只是个段子。。。）

推荐系统无处不在

  • 你可能感兴趣的，你可能喜欢的
  • 越是大厂，推荐做的越好
  • 用户的行为决定了推荐的内容
  • 千人千面，所有人的推荐都不一样

为什么需要推荐系统

  • 卖的好的就那几种商品，其他的不要了？
  • 80%的销售来自20%的热门商品
  • 要想提高整体收益，得把长尾商品推出去
  • 通过用户行为来进行个性化推荐
    在这里插入图片描述

推荐系统发展

  • 亚马逊1998年就开始用了，只不过那时候还是简单的协同过滤
  • 2006年Netflix（在线视频）竞赛一炮走红
  • 2015年开始深度学习崛起，推荐也随之改变
  • 今天已经百花齐放，各大论文层出不穷
    在这里插入图片描述

推荐系统应用领域

  • 广告都是钱，地图也得回回本，到哪了都有一堆推荐！
  • 不仅仅是推荐产品，还打辅助，帮助完成各种决策
    • 为什么她会成为可能认识的人?
    • 图模型能做的事情实在太多啦，万物互联
    • 知识图谱也是做好产品必备技能
  • 个性化推荐，优化用户体验，海量数据中快速定位，精准营销

推荐系统的目标

  • Relevance：推荐的东西起码得相关才行
  • Novelty：新颖的才好，推的得是人家没有的
  • Serendipity：跟处对象一样一样的，机缘
  • Diversity：多样性，换着花样玩才好
    在这里插入图片描述

如何评价推荐系统效果

  • 其实最主要的还是用户满意度，各种数学公式只是辅助判断
  • 常规的计算损失： 在这里插入图片描述（T是测试集）
  • TopK推荐： 在这里插入图片描述（用户相关商品集与推荐商品集的交集）
  • 覆盖率：挖掘长尾；多样性：覆盖不同领域；实时性：刚买了房子赶紧推装修

推荐系统里的常用词

  • Item：商品，例如要从拼多多买的9.9包邮的拖鞋
  • Embedding：隐向量，例如对用户商品评分矩阵进行分解
  • 召回：粗略计算要返回结果，例如先从100W商品中取比较可能的100个
  • 打分：要排名得有一个统一的标准；重排：最终结果排序

推荐系统经典流程

  • 离线+近线+在线（召回+粗排+精排）
  • 离线通常跑较大的模型与算法，先得到当前数据的大致结果，一定时间更新一次
  • 粗排通常会跟着用户走，用户做了什么事，推荐结果也会随之更新
  • 在线模块需要根据业务规则来返回最终呈现结果

推荐系统难点与挑战

  • 需要更广泛的收集用户标签并画像
  • 人是善变的，随着时间的推移，兴趣也会改变
  • 根据固定画像数据，推荐结果可不能固定不变
  • 特征工程如何构建一直是一个大难题
  • 冷启动怎么办，包括用户冷启动与商品冷启动
  • 新用户来了，不知道他啥样怎么办
  • 商品倒是好办，属性相对固定
  • 解决方法比较多，例如直接推荐销冠

涉及技术点分析

  • Embedding方向：如何更好的表示数据，肯定不用one-hot
  • 隐向量的方法在推荐中几乎无处不用，例如常见的FM及其DeepFM算法
    在这里插入图片描述
  • NLP方向：如何基于文本数据来进行推荐？
  • 文本处理方法比较多，LDA,词向量,矩阵分解等套路都能用得上
    在这里插入图片描述
  • 知识图谱方向：现在这么火的技术点，推荐中肯定也用到了
  • 数据越多，越能体现出知识图谱的强大
    在这里插入图片描述
  • CV方向：卷积与图卷积，图像与视频数据也是用户行为中的体现
  • 卷积不仅仅能应用在图像/视频数据中，矩阵数据都可以尝试
    在这里插入图片描述
  • 特征工程与深度学习方向：如何更好的利用这么多信息？深度学习天生优胜！
  • 数据维度大，稀疏度高一直都是一个大难题，与深度学习结合能更简单
    在这里插入图片描述

为什么需要深度学习

  • 宏观：传统人工特征工程难度较大，深度学习可以把特征做的更好
  • 本质：end2end的架构让模型训练起来更容易，项目做起来更简单！
  • 深度学习更适合NLP与图像数据，符合当下用户行为数据
  • 但凡看到深度学习，第一感觉应该是这件事做起来没那么麻烦了
范欣德
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
第四章 第一节：服务端软件架构介绍.pdf
04-28
• 第一节：综合软件架构介绍 • 软件架构介绍 • 知识结构梳理 • 第二节：后端服务开发 • 后端知识点介绍 • Demo实践上手 • 第三节：前端服务开发 • 前端知识点介绍 • Demo实战上手 4 STM32-阿里云IoT 联合...
半导体材料课件：第1节 相与相平衡.doc
11-26
《半导体材料课件：第1节 相与相平衡》主要介绍了相的概念、组元的定义以及相平衡和相律的原理，这些都是理解半导体材料及其性质的基础知识。 首先，"相"是物质的一种状态，指的是在系统中成分、结构、性能一致的...
javaweb商城电商系统+教程第一节+项目介绍以及搭建
11-01
javaweb商城电商系统+教程第一节+适用于毕设。可用于毕设参考和练习。 项目资源适用于大三、大四的同学，可用于毕设参考和练习，也可用于商用。
数控机床及编程：第一节 数控系统.ppt
09-19
【数控机床及编程：第一节 数控系统】 数控机床是现代制造业中的重要设备，它们通过数字控制技术实现自动化加工。数控系统是数控机床的核心，负责处理输入的程序指令，控制机床的运动和加工过程。本节将详细介绍...
电商平台的推荐算法需要备案吗？
2401_85594850的博客
08-12 1169
电商平台的推荐算法：电商平台使用的推荐算法，例如个性化推送类、排序精选类等，需要备案 。
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260
最新发布
08-31
常用芯片手册芯片资料MAX260常用芯片手册芯片资料MAX260提取方式是百度网盘分享地址
常用芯片手册芯片资料82530常用芯片手册芯片资料82530
08-31
常用芯片手册芯片资料82530常用芯片手册芯片资料82530提取方式是百度网盘分享地址
全国互联网网民数和互联网普及率.xlsx
08-31
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141286857 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 各省、地级市、区县互联网普及率、宽带接入户数和电话用户数等 1、全国互联网网民数和互联网普及率（1997-2020年）； 2、各省互联网网民数和互联网普及率（1997-2016年）； 3、地级市互联网宽带接入用户（1996-2020年）； 4、各区县电话用户数（2004-2019年）
SQLAlchemy-2.0.30-cp37-cp37m-musllinux_1_1_x86_64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
百度云/百度网盘Python客户端
08-31
极简说明 安装: pip install bypy 运行: bypy 这是一个百度云/百度网盘的Python客户端。主要的目的就是在Linux环境下（Windows下应该也可用，但没有仔细测试过）通过命令行来使用百度云盘的2TB的巨大空间。比如，你可以用在Raspberry Pi树莓派上。它提供文件列表、下载、上传、比较、向上同步、向下同步，等操作。
2010-2021年省级碳排放和分行业二氧化碳排放数据(全新整理)
08-31
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141286902 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理 分行业二氧化碳排放量 数据来源：中国能源统计等 时间范围：1994-2021年 指标：八类能源和总量
SQLAlchemy-2.0.31-cp310-cp310-manylinux_2_17_x86_64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
科技小贴士-美国白宫召开会议讨论开源软件给软件供应链带来的安全隐患(1).docx
08-31
科技小贴士-美国白宫召开会议讨论开源软件给软件供应链带来的安全隐患(1).docx
vite-page-entry-main.zip
08-31
vite-page-entry-main.zip
geopandas-0.13.1-py3-none-any.whl
08-31
GeoPandas是一个开源的Python库，旨在简化地理空间数据的处理和分析。它结合了Pandas和Shapely的能力，为Python用户提供了一个强大而灵活的工具来处理地理空间数据。以下是关于GeoPandas的详细介绍： 一、GeoPandas的基本概念 1. 定义 GeoPandas是建立在Pandas和Shapely之上的一个Python库，用于处理和分析地理空间数据。 它扩展了Pandas的DataFrame和Series数据结构，允许在其中存储和操作地理空间几何图形。 2. 核心数据结构 GeoDataFrame：GeoPandas的核心数据结构，是Pandas DataFrame的扩展。它包含一个或多个列，其中至少一列是几何列（geometry column），用于存储地理空间几何图形（如点、线、多边形等）。 GeoSeries：GeoPandas中的另一个重要数据结构，类似于Pandas的Series，但用于存储几何图形序列。 二、GeoPandas的功能特性 1. 读取和写入多种地理空间数据格式 GeoPandas支持读取和写入多种常见的地理空间数据格式，包括Shapefile、GeoJSON、PostGIS、KML等。这使得用户可以轻松地从各种数据源中加载地理空间数据，并将处理后的数据保存为所需的格式。 2. 地理空间几何图形的创建、编辑和分析 GeoPandas允许用户创建、编辑和分析地理空间几何图形，包括点、线、多边形等。它提供了丰富的空间操作函数，如缓冲区分析、交集、并集、差集等，使得用户可以方便地进行地理空间数据分析。 3. 数据可视化 GeoPandas内置了数据可视化功能，可以绘制地理空间数据的地图。用户可以使用matplotlib等库来进一步定制地图的样式和布局。 4. 空间连接和空间索引 GeoPandas支持空间连接操作，可以将两个GeoDataFrame按照空间关系（如相交、包含等）进行连接。此外，它还支持空间索引，可以提高地理空间数据查询的效率。
SQLAlchemy-2.0.30-cp311-cp311-macosx_11_0_arm64.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
钢结构厂房工程监理全过程工作流程图（44个流程）.rar
08-31
钢结构厂房工程监理全过程工作流程图（44个流程）.rar
SQLAlchemy-2.0.0rc3-cp310-cp310-win32.whl
08-31
SQLAlchemy 是一个 SQL 工具包和对象关系映射（ORM）库，用于 Python 编程语言。它提供了一个高级的 SQL 工具和对象关系映射工具，允许开发者以 Python 类和对象的形式操作数据库，而无需编写大量的 SQL 语句。SQLAlchemy 建立在 DBAPI 之上，支持多种数据库后端，如 SQLite, MySQL, PostgreSQL 等。 SQLAlchemy 的核心功能： 对象关系映射（ORM）： SQLAlchemy 允许开发者使用 Python 类来表示数据库表，使用类的实例表示表中的行。 开发者可以定义类之间的关系（如一对多、多对多），SQLAlchemy 会自动处理这些关系在数据库中的映射。 通过 ORM，开发者可以像操作 Python 对象一样操作数据库，这大大简化了数据库操作的复杂性。 表达式语言： SQLAlchemy 提供了一个丰富的 SQL 表达式语言，允许开发者以 Python 表达式的方式编写复杂的 SQL 查询。 表达式语言提供了对 SQL 语句的灵活控制，同时保持了代码的可读性和可维护性。 数据库引擎和连接池： SQLAlchemy 支持多种数据库后端，并且为每种后端提供了对应的数据库引擎。 它还提供了连接池管理功能，以优化数据库连接的创建、使用和释放。 会话管理： SQLAlchemy 使用会话（Session）来管理对象的持久化状态。 会话提供了一个工作单元（unit of work）和身份映射（identity map）的概念，使得对象的状态管理和查询更加高效。 事件系统： SQLAlchemy 提供了一个事件系统，允许开发者在 ORM 的各个生命周期阶段插入自定义的钩子函数。 这使得开发者可以在对象加载、修改、删除等操作时执行额外的逻辑。
slim-0.7.0a4.tar.gz
08-31
whl软件包，直接pip install安装即可
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值