最近在调研冷启动推荐技术方案，主要为近几年冷启动推荐的研究进展，现汇总如下（主要为用户冷启动技术），文章不定期更新，若有遗漏好文章，欢迎大家评论区提醒~
目录
《Hybrid Item-Item Recommendation via Semi-Parametric Embedding》
Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems
《Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings》
《Addressing the Item Cold-start Problem by Attribute-driven Active Learning》
《DropoutNet: Addressing Cold Start in Recommender Systems》
MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
商品冷启动
商品冷启动一般在item的embedding上优化
Graph Embedding
在Graph Embedding I2I的基础上，加入商品的Side Information，进一步提升Embedding的泛化学习能力，更好地解决长尾以及商品冷启动问题
《Hybrid Item-Item Recommendation via Semi-Parametric Embedding》
2019 IJCAI （阿里机器智能技术和优酷人工智能平台）
本文提出了一种半参表示框架， 它结合商品的行为信息和内容信息，以达到在维持行为丰富 item 上表现的同时，缓解新发商品上的冷启动问题。另外本文引入 sDAE 来帮助学习更强力的内容表示，以达到更鲁棒的效果。3 个真实数据集、3类对比推荐算法、4 种评价指标上的对比实验，验证了该算法的可靠性和鲁棒性。
半参向量表示(SPE)；同时使用行为和内容信息来建模商品表示：
，其中, v 为商品的向量表示; z 为商品的行为信息表示部分, 每个商品的行为表示各自不同; e 为内容信息表示部分, 通过特征输入
得到, c 为商品的内容输入向量(商品的文本、描述、类目等); δ 为两者之间的权重大小, 由当前item上的历史统计信息(商品曝光、点击次数等)决定。若当前item行为丰富, δ较大, 最终的向量由z主导; 而新品 item 行为信息少, δ 较小，模型对行为信息的权重加大。
行为向量 z 和内容向量 e 分别为模型中非参数化向量和参数化向量, 结合两者，作者将其称作半参向量表示。相似度计算：
，为了学习更鲁棒的内容向量表示，对参数化向量表示，引入深度学习中的多层降噪自动编码机(stacked denoise autoencoder, sDAE)。
Stacked and Reconstructed Graph Convolutional Networks for Recommender Systems
2019 IJCAI ?star-gcn.pdf
作者提出了一个图卷积网络（STAR-GCN）架构，用于学习节点表示，以提高推荐系统的性能，特别是在冷启动场景中。 STAR-GCN采用了一叠GCN编码器 - 解码器以对中间过程进行监督来改进最终的预测效果。与one-hot编码节点输入的图卷积矩阵完成模型不同，STAR-GCN学习低维用户和商品隐变量作为输入来限制模型空间的复杂性。此外，STAR-GCN可以通过重构masked的输入节点embedding为新节点生成节点embedding，这本质上解决了冷启动问题。
《Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings》
SIGIR 2019 Meta-Embedding的应用
《Addressing the Item Cold-start Problem by Attribute-driven Active Learning》
--IEEE Transactions on Knowledge and Data Engineering 2019 TKDE
使用属性驱动的主动学习解决冷启动问题
Select Users to Rate the New Item 满足以下四个条件：
- Selected users are with high possibility to rate new item；
选择的用户应该大概率想要对新的item进行评分，也就是很可能看这个item。根据用户特征及item的属性，采用FM学习一个分类模型；（上图b）
- Selected users’ potential ratings are diverse；
选择的用户对于item的打分应该是分散的。用户的选择需要考虑到各种用户的特点，所以他们应该具有不同的兴趣爱好。
根据用户特征及item的属性，采用FM学习一个回归模型；
(1) selected users tend to have different interest. Ratings of these users would provide more information compared to ratings of similar users, and (2) the final prediction model trained on these users’ feedback would not be biased to a fixed region of ratings.
D(m,n)越大越好
- Selected users’ ratings are objective.
选择的用户对历史上item的打分应该接近于item的最终得分。也就是说这个用户与大众的品味应该类似。这一点可以使模型更好的区分不同的物品。注意在这一个约束中，因为有的用户评价的item数量比较少，可能对于item的评分与均值类似是因为巧合，所以需要与用户评分的物品数量相关：当用户评分的物品数量少时，我们要进行惩罚。
- Selected users are representative.
要选择更具有代表性的用户。根据用户的打分历史构建相似性矩阵。文章中使用两行的cosin函数进行相似度计算。
representative means that this user is similar to unselected users.
训练目标：
用户冷启动
社交网络挖掘好友
当一个新用户通过微博或者Facebook账号登录网站时， 我们可以从社交网站中获取用户的好友列表，然后给用户推荐好友在网站上喜欢的物品。 从而我们可以在没有用户行为记录时就给用户提供较高质量的推荐结果，部分解决了推荐系统的冷启动问题。
《DropoutNet: Addressing Cold Start in Recommender Systems》
nips2017 链接
【背景】
要处理冷启动问题，我们必须使用content信息。但是想要整个系统的推荐效果较好，我们也必须使用preference信息。目前最好的方法，就是二者结合形成的Hybrid方法，但是往往有多目标函数，训练复杂。
如何把content和preference的信息都结合起来，同时让训练过程更简单？
针对冷启动问题，本文不是引入额外的内容信息和额外的目标函数，而是改进整个学习过程，让模型可以针对这种缺失的输入来训练。
基于邻居用户特征映射的跨领域推荐
- 找到目标用户的最近邻用户（辅助领域中有相似评分行为的用户）
- 使用邻居用户的潜在特征来学习潜在特征映射函数
- 基于映射函数和目标用户在辅助领域的潜在特征来预测其在目标领域的特征，从而生成推荐
Crowd-based Filtering
基于人群属性来推荐的方法，其通过将用户按照性别、年龄段、收货城市等粗粒度的属性划分为若干个人群，然后为基于每个人群的行为数据挑选出该人群点击率高的TopK个商品作为该人群感兴趣的商品。（hot的基础上划分group）
Attribute2I
将用户的静态属性（年龄、性别、常住地、LBS位置）以及宝贝的特征融合进来，对商品打分。
将用户的各种属性组合起来作为一个Key（比如：F_19-25_1_N_UNK_北京市），然后去检索，新增一种召回类型。
基于代表性（2017）
使用有代表性的项目和用户子集，即依赖那些能够“代表”项目和用户的用户。代表性用户的兴趣偏好线性组合能与其他用户的无限接近。例如，基于代表性的矩阵因子分解（RBMF，Representative Based Matrix Factorization），其实是矩阵因子分解方法的扩展，其附加约束条件是m个项应该由k个项的线性组合表示，如下面的目标函数所示：
当新用户进入平台时，要求新用户对这k个项进行评级，并用它来推断其他m-k项的评级。
Bandit算法
多臂老虎机
MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
KDD 2019
本文提出了一种新的推荐系统，解决了基于少量样本物品来估计用户偏好的冷启动问题。为了确定用户在冷启动状态下的偏好，现有的推荐系统，如Netflix，最初向用户提供商品;我们称这些物品为候选证据。然后根据用户选择的物品提出建议。以往的推荐研究有两个局限性:(1)消费了少量商品的用户推荐不佳，(2)候选证据不足，无法识别用户偏好。为了克服这两个限制，我们提出了一种基于元学习的推荐系统MeLU。从元学习中，MeLU可以通过几个例子快速地采用新任务，通过几个消费项来估计新用户的偏好。此外，我们提供了一个证据候选选择策略，以确定自定义偏好估计的区分项目。我们用两个基准数据集对MeLU进行了验证，与两个比较模型相比，该模型的平均绝对误差至少降低了5.92%。我们还进行了用户研究实验来验证证据选择策略。
推荐系统中引入与模型无关的元学习（MAML）：学习训练一种可以很快适应新任务的方法，并且适应过程还只需要少量的梯度迭代步。元学习器希望寻求一个初始化，它不仅能适应多个问题，同时适应的过程还能做到快速（少量梯度迭代步）和高效（少量样本）。1
predict阶段：
When recommending items to a user, MeLU conducts local updates based on the user’s item-consumption history and calculates the preferences for all items that the user has not rated.
Zero Shot Learning
《From Zero-Shot Learning to Cold-Start Recommendation》 AAAI Conference on Artificial Intelligence (AAAI-19)
直接属性预测 Direct attribute prediction (DAP)：将数据从特征空间映射到中间层的属性向量层，属性向量层的标签是通过收集来的每一类特征的总结，比如是否有尾巴，有几只脚等等，通过利用数据预测属性，再通过属性映射到标签来实现对于未知类别的预测。
令
1.减少了参数的数量；2.tied weights可以被看做是一种正则化形式，在实践中能获得更好的性能；
（加上低秩限制：1.过滤掉伪相关行为；2.更加关注不同用户间的共同属性；） NP-hard问题
（奇异值）
目标函数：
引入噪声后的目标函数：
randomly set 10% of X to zeros
放开限制转为凸函数：
predict:
+ LR predict function
以下几篇为Cross Domain相关
AAAI
《Deeply Fusing Reviews and Contents for Cold Start Users in Cross-Domain Recommendation Systems》 AAAI Conference on Artificial Intelligence (AAAI-19)
融合：review texts and item contents
dataSet: Movies & Books/Music
A：Source T：Target
Item(User) side information：reviews --> Embedding vec [AUR_u;AIR_i; TUR_u;TIR_i]
Item content embedding：AIP_i
rating vectors：AIS_i;AUS_u;TIS_i;TUS_u;
采用5个SDAE（layers=4），4个分别学习源域、目标域的user、item latent vector，另1个SDAE学习源域item content latent vec到Vi的映射(影响Vi的学习)
predict
WWW
《Preliminary Investigation of Alleviating User Cold-Start Problem in E-commerce with Deep Cross-Domain Recommender System》 source user bhv -> target recommendation
NeuMF model 结合线性的MF模型和非线性的DNNs 模型来对user和item之间的交互进行建模。 User embedding：source; Item embedding：target
MF：
h为归一化的向量 将h通过学习得到，替换激活函数->GMF
predict
输入source user embedding + target item embedding
CIKM
《Semi-Supervised Learning for Cross-Domain Recommendation to Cold-Start Users》
基于少量重叠用户的前提条件
AAAI
《HERS: Modeling Influential Contexts with Heterogeneous Relations for Sparse and Cold-Start Recommendation》 AAAI Conference on Artificial Intelligence (AAAI-19) 引入异构关系
HERS which exploits the information learned from user-user, user-item and item-item relations.
ICONIP
《LHRM: A LBS based Heterogeneous Relations Model for User Cold-Start Recommendation in Online Travel Platform》 (ICONIP-2020)
在旅行场景的首次尝试，思想与HERS类似，整体模型如下图，通过group下用户行为的item与目标用户通过双塔模型学习新的user embedding与item embedding，对于冷启动用户：计算向量的相似度，召回最相似的item
user group与item group划分方式如下：
GNN
《Solving Cold Start Problem in Recommendation with Attribute Graph Neural Networks》2019-CORR
attribute embedding -> node embedding (Pu) 
:Attribute Interaction Layer
:neighbor i
predict：
冷启动用户：
As missing preference problem. Attr embedding -> pref embedding
Non-personalized
《The Pure Cold-Start Problem: A deep study about how to conquer first-time users in recommendations domains》 -- Information Systems 2019 [B类期刊]
目标
mix complementary non-personalized RSs.
We hypothesize that combining distinct non-personalized RSs can be better to conquer the most first-time users than traditional ones.
Pure Cold-Start定义:We defined a complete temporal ordering of users by considering the first action time each one has in our historical data.Then, we selected the last 20% of users as the first-time ones,since they present the most recent actions in each collection.
背景
- 部分用户偏向非热门商品；
- 基于用户覆盖率最大化的非个性化RS缓解了纯冷启动问题；
- 混合互补的非个性化RS比混合传统的推荐系统更有效；
Max-Coverage: selects items that coverage a large number of distinct users;
Category-Exploration: selects items relevant for different user profiles.
传统方法考虑的三个因素：
popularity of items,ratings received on items,how recent are the item consumed there are users (40%) who consume only popular and other users (40%) who consume only other items in the CiaoDVD dataset. In this case,there are users who rated very few items due the huge amount of products available.
Contrary to traditional assumption,we show users’ preferences for items distinct from the popular ones. Moreover, we found categories of users with interest for items not retrieved by biased-items RSs.
方法
1.Max-Coverage (MaxCov) 最大覆盖问题
F = {S1, ..., Sn}, where each Si is a subset of users that consumed the item i.
The objective is to find the subset F* , such that |F*|<= k and the number of distinct covered users |S| is maximized. --取出<=k个热门item
贪心算法每次选择覆盖最大数量用户的item，但会忽略先前覆盖的用户，导致所选项目不如前一个项目受欢迎
2.Category-Exploration
K-Means聚类+Max-Coverage
Review encoding
《RACRec: Review Aware Cross-Domain Recommendation for Fully-Cold-Start User》 --IEEE Access 2020
domain：按类目划分
emotional representationsare suitable for product representations. Because in the reviews, users describe the preferences for specic attributes of the products in a ne-grained way.
domain classify:确定样本的domain类别
VAE Loss：
cold-start+long-tail
《Two Birds One Stone: On both Cold-Start and Long-Tail Recommendation》 -- ACM Multimedia 2017
主要贡献：challenge both cold-start and long-tail recommendation in a unied objective.
result = pop + long tail
XW：低秩 XH：稀疏
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
