推荐系统学习笔记--推荐系统简介

由来

互联网的出现和普及给用户带来了大量的信息，满足了用户在信息时代对信息的需求，但随着网络的迅速发展而带来的网上信息量的大幅增长，使得用户在面对大量信息时无法从中获得对自己真正有用的那部分信息，对信息的使用效率反而降低了，这就是所谓的信息超载（informationoverload）问题。
解决信息超载问题一个非常有潜力的办法是推荐系统，它是根据用户的信息需求、兴趣等，将用户感兴趣的信息、产品等推荐给用户的个性化信息推荐系统。和搜索引擎相比推荐系统通过研究用户的兴趣偏好，进行个性化计算，由系统发现用户的兴趣点，从而引导用户发现自己的信息需求。一个好的推荐系统不仅能为用户提供个性化的服务，还能和用户之间建立密切关系，让用户对推荐产生依赖。
推荐系统现已广泛应用于很多领域，其中最典型并具有良好的发展和应用前景的领域就是电子商务领域。同时学术界对推荐系统的研究热度一直很高，逐步形成了一门独立的学科。

定义

推荐系统有3个重要的模块：用户建模模块、推荐对象建模模块、推荐算法模块。推荐系统把用户模型中兴趣需求信息和推荐对象模型中的特征信息匹配，同时使用相应的推荐算法进行计算筛选，找到用户可能感兴趣的推荐对象，然后推荐给用户

搜索与推荐的比较

推荐系统的作用

收益：亚马逊收入至少有35%来自推荐算法

应用：
电商老大亚马逊是个性化推荐系统的积极应用这和推
广者，被称为“推荐系统之王”

电商的主要应用有个性化商品推荐列表和相关商品的
推荐列表。

商品推荐列表：左图中各个商品展示位（广告位）
相关商品推荐列表：购买之后推荐的相关商品

应用：
QQ音乐的个性电台的歌曲推荐，每日30首
网易云音乐的每日推荐，歌单库等可能是最适合个性化推荐的产品：

• 用户不可能听完所有音乐在决定自己喜欢听什么，而且信息时代，歌曲增加速度很快（信息过载）

• 音乐更多是作为背景，很少有人必须听某首特定歌曲，听什么歌都可以，只要能够符合当时的心情(无明确需求)

• 用户反馈：喜欢或不喜欢(显式)和隐式反馈

应用：(短视频)
推荐用户喜好内容获取更多流量-> 推荐用户合适广告增加平台收入视屏广告、横幅广告、三图广告、大图广告等

广告位也即内容列表位
信息流广告通过历史浏览数据优化点击率，转化率来
展现用户想看的，同时最大化平台收入

推荐系统的架构

用户信息：历史行为、人口属性、关系网络、兴趣爱好等

物品信息：内容属性、平均分、流行度等,上下文信息：时间、地点、手机状态等

构建函数映射：候选物品库 - > 推 荐 物 品

技术架构

数据部分

实时、准实时、离线进行用户、物品和上下文的信息收集与处理

特征工程 - > 样本数据（训练与评估）

系统监控与商业数据分析

模型部分

召回层：召回规则、算法或简单的模型得到候选集排序层：排序模型对候选集精排序

策略层：推荐结果综合考虑多样性、流行度等

规则定向、热门、协同过滤、矩阵分解、KNN等LR、GBDT、DNN模型等
低质量过滤、去重、多样性、流行度等

需要多轮排序的原因

资源有限，DNN模型相对预估更准确，但是耗时较长，当推荐系统一次请求返回延时百毫秒内，无法使用复杂模型排序大候选集