Dive的博客

原创 会话/序列推荐：Caser、SASRec、BERT4Rec [Session based / Sequential Recommendation]

目录Caser3 模型3.1 嵌入层3.2 卷积层3.3 全连接层3.4 训练3.6 与一些模型的关系Caser2018-WSDM-Personalized Top-N Sequential Recommendation via Convolutional Sequence Embedding卷积序列推荐模型Caser，使用CNN从近期items序列中以局部特征的方式提取序列模式。3 模型为了捕获用户的整体偏好和序列模式联合级别和单独级别的i2iskip行为连接3.1 嵌入层use

原创 2021-IJCAI-Deep Learning for Click-Through Rate Estimation

Deep Learning for Click-Through Rate Estimation2021-IJCAI

原创 2021-WWW-FM^2 : Field-matrixed Factorization Machines for Recommender Systems

目录1 INTRODUCTION2 RELATED WORKS OVERVIEW3 OUR MODEL3.1 FM系列的统一框架3.2 FFM和FmFM，记忆vs推断3.3 模型复杂度4 MODEL OPTIMIZATION4.1 field-specific 嵌入维度4.2 中间向量缓存4.3 结合嵌入维度和缓存优化4.4 soft剪枝4.5 减少线性函数项5 EXPERIMENTS5.3 表现对比5.4 嵌入维度优化????????2 : Field-matrixed Factorization M

原创 神经网络：全连接神经网络

目录1 简介1.1 神经元1.2 网络结构1.3 正向传播1.4 反向传播1 简介全连接神经网络 也称作多层感知机（MLP）1.1 神经元神经元接收输入向量xxx神经元节点有权重向量w和偏置项b 输出值为f(wTx+b)f(w^Tx+b)f(wTx+b)在经过类似线性回归之后 使用激活函数对得到值进行操作1.2 网络结构输入层：[特征维度，n]隐含层：权重矩阵 [输出维度，输入维度] 或者说[这层维度，上层维度]输出层：[类别数，n]个人对于每一层的理解就是 使用[这层维度，上层

原创 Tensorflow 多值离散特征嵌入的处理（对取值个数不定的特征嵌入的处理）

多值离散问题：有的特征只有一个固定的取值，但是有的特征有不确定个数的取值，在tensorflow中特征输入又需要一样的长度。比如一个电影的类型可以有多种等，对电影类型进行嵌入时就会遇到问题。多个类型时，可以把多个类型的嵌入向量求和、求平均、根号等等。一直不熟悉tensorflow，刚开始这个问题卡了我很久，还是记录一下吧。1 tf.nn.embedding_lookup_sparse取平均刚...

原创 tensorboard同时记录训练集和测试集的loss

1 为train和test分别写好losscost = tf.losses.mean_squared_error(y, predict)loss = tf.sqrt(tf.reduce_mean(cost))#rmsetf.summary.scalar('train_loss',loss)#画loss#画测试集的loss 但是需要用测试集的数据传入feedcost1 = tf.loss...

原创 Python实现《都挺好》社交网络分析

目录制作主要人物字典计算人物相互出现的频数画人物关系网络图社区发现重要人物人物相关系数制作主要人物字典需要把《都挺好》小说txt版下载下来，刚开始我是通过jieba分词把所有nr(人名)的词语保存下来，作为人物集合，但是①某个人物多个称呼 ②nr类型会出现许多不合适的词words=pseg.cut(single) for w in words: if(...

原创 《RunningMan》评论及弹幕情感分析

《RunningMan》评论及弹幕情感分析，数据来源于b站，关键是自己实现情感得分的过程（由于篇幅问题，本文章没有放上相关代码）

原创 sklearn笔记一 datasets基本用法

机器学习：监督学习非监督学习半监督学习强化学习遗传算法

原创 2020-SIGIR- Lightgcn: Simplifying and powering graph convolution network for recommendation

LightGCN当前RS中的GCN工作没有进行彻底的消融实验，本文实验发现GCN的两项设计**[特征转化]和[非线性激活函数]**不适用于协调过滤。提出了LightGCN，只使用了GCN的邻居聚合，线性传播信息，然后加权每一层的嵌入得到最终的表示。1 引言CF的通用范式：①学习到用户和物品的隐含特征（嵌入/表示）；②基于嵌入向量进行预测。MF，直接将single id作为嵌入SVD++，将历史交互物品id来表示user（一阶邻居）交互图，多阶邻居NGCF中借鉴GCN的特征转化、非线性函数；

原创 2020-SIGIR-Disentangled Graph Collaborative Filtering

DGCFAbstractCF演化，从单一的用户-物品交互演化到使用整个交互图来学习表示。这些方法都是uniform方法，忽略了用户采取物品时意图的多样性。本文提出DGCF，分离意图因素，产生解耦表示。1 INTRODUCTIONDGCF，在用户意图上解耦用户和物品的表示。首先将每一个用户/物品的嵌入划分成块，将每个块和每种隐含的意图耦合。然后采用图解耦模块，带有邻居路由和嵌入传播同时，独立建模模块，使得不同意图尽量独立2 PRELIMINARY AND RELATED WORK2.2

原创 2019-CIKM-Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

Multi-Interest Network with Dynamic Routing for Recommendation at Tmall2019 CIKMRS分为两阶段：matching和ranking。matching阶段检索出和用户兴趣相关的候选集；ranking阶段根据用户兴趣对候选集排序。因此在每个阶段表示用户的兴趣都很重要，但是目前大多方法都用一个向量来表示用户，不能很好的捕获用户多兴趣的表示。本文提出MIND，使用编码用户不同兴趣的多个向量来表示用户。1 引言matching和ra

原创 2021-WSDM-Decomposed Collaborative Filtering: Modeling Explicit and Implicit Factors For Recommender

Decomposed Collaborative Filtering: Modeling Explicit and Implicit Factors For Recommender Systems2021 WSDMCF的主题是表示学习。学习到的表示应该反映出：由外在属性所显示的，比如book的作者、类型由隐式因子所显示的，协同信号3 问题描述协作关系感知图，交互图+物品知识图谱显示关系 R+R^+R+ 就是物品KG中的关系隐式关系 R−={k1,k2,k3,k4}R^-=\{k_1,k

原创 2021-SIGIR-Path-based Deep Network for Candidate Item Matching in Recommenders

Path-based Deep Network for Candidate Item Matching in Recommenders2021-SIGIR-阿里、蚂蚁介绍了工业界主流的两种召回方式及对应的特点，提出PDN整合两种召回方式。1 INTRODUCTIONa matching stage is expected to retrieve a small fraction of relevant items in low latency and computational costa r

原创 2021-KDD-MixGCF: An Improved Training Method for Graph Neural Network-based Recommender Systems

MixGCF: An Improved Training Method for Graph NeuralNetwork-based Recommender Systems2021-KDD 清华唐杰老师利用u-i图结构和GNN的聚合过程来研究GNN-CF中的负采样。提出了MixGCF，设计了hop mix技术来合成hard负样本。3 THE MIXGCF METHODpositive mixing：插值混合法，将正样本中的信息注入到负样本，make hard 负样本hop mixing：使用

原创 2021-WSDM-Sparse-Interest Network for Sequential Recommendation

2021-WSDM 阿里团队 召回发现用户的行为序列通常包含多个概念上不同的物品，而统一的嵌入向量主要受到最近频繁行为的影响。本文提出Sparse Interest NEtwork，核心是稀疏兴趣模块和兴趣聚合模块：稀疏兴趣模块，自适应地从大型概念池中推断出每个用户的一组稀疏概念，并输出对应的多个嵌入兴趣聚合模块，主动预测用户的当前意图，然后使用它显式地对next item预测进行建模1 INTRODUCTION传统的推荐方法——协同过滤基于深度神经网络的推荐——NCF、PinSage；

原创 2021-WWW-Learning Intents behind Interactions with Knowledge Graph for Recommendation

ABSTRACT将KG运用到RS中，现存的GNN方法在关系建模中是粗粒度的，不能在细粒度的意图粒度上识别user-item关系，也不能利用关系依赖关系来保留远程连接的语义。（后半句怎么理解？）本文提出KGIN，将每个意图建模成KG关系的注意力结合，鼓励不同意图间的独立性；设计了新的消息聚合机制，递归的整合长距离连通性的关系序列。这些设计能够提取关于用户意图的有用信息，将其编码进用户和物品的表示中。1 INTRODUCTIONKG运用到RS：KG学习嵌入—路径—GNN缺点：用户意图：一个用户有

原创 2021-ACL-HieRec: Hierarchical User Interest Modeling for Personalized News Recommendation

3 HieRec3.1 问题定义新闻n的组成：title文本序列 T ，w表示单词实体序列 E ，e表示实体topic tsubtopic s用户的行为序列：M个点击的新闻点击主题集合 {t1,t2,..,tm}\{{t_1,t_2,..,t_m}\}{t1​,t2​,..,tm​}，一个用户点击过m个主题对于m个主题中的每个主题tit_iti​，都有一个点击子主题集合 {sji}\{{s^i_j}\}{sji​} ，表示点击了第i个主题的第j个子主题（d个子主题）点

原创 2020-CIKM-DisenHAN: Disentangled Heterogeneous Graph Attention Network for Recommendation

原创 2019-CIKM-SDM: Sequential Deep Matching Model for Online Large-scale Recommender System

SDM: Sequential Deep Matching Model for Online Large-scale Recommender System2019-CIKM 阿里团队item CF 不能建模用户动态和演化的偏好。本文提出SDM，解决两个问题：一个session中可能有多种兴趣趋势长期偏好可能无法与当前session的兴趣有效融合个人认为本文的亮点有：user emb做query，对于序列LSTM之后的隐藏h序列（多头自注意力之后）做atten；对于长期序列不同feat分别做

原创 2021-CIKM-SimpleX: A Simple and Strong Baseline for Collaborative Filtering

CF三大块：交互Encoder、损失函数、负采样本文提出余弦对比损失，整合到一个简单的统一的CF模型—SimpleX个人认为亮点在损失函数上，模型大道至简，表现很好；但是拿CCL和BPR比 相当于对于每个正样本pair，使用了更多（采样数量）并且权重不等（margin）的负样本，类似于阿里的EBR（21kdd）中提到softmax优于pairwise2 BACKGROUND AND RELATED WORK2.1 CF 定义交互Encoder，目的是学习到用户和物品的嵌入*（这篇文章..

原创 2020-RecSys-SSE-PT: Sequential Recommendation Via Personalized Transformer

个人认为本文的思想很好，要将个性化引入到Transformer中*（NLP的各种技术在我看来其目的是明确的，一句话是什么意思就是什么意思，所以只考虑这一句话中的word即可，但是对于RS来说，同样item id的序列对于不同的user id也是不一样的，不能单纯的以 item id序列来表示一个user）*；本文主要的点有：序列中 user emb和item emb进行拼接的表示如何使用SSE1 INTRODUCTIONSASRec使用标准的Transformer，本质上是一个非个性化的模型。S

原创 2021-WWW-Disentangling User Interest and Conformity for Recommendation with Causal Embedding

原创 2020-KDD-Controllable Multi-Interest Framework for Recommendation

2020-KDD 阿里 多兴趣 召回序列推荐，近期工作大多从用户的行为序列中提取出一个统一的嵌入，它不能反映用户在一段时间内的多兴趣。本文提出ComiRec，核心有两个模块：多兴趣提取：使用胶囊网络或自注意力从用户的行为序列中为用户提取出K个兴趣向量兴趣聚合：从K个兴趣向量检索出的K×topN个物品中选出最终的K个物品，引入可控制的参数来平衡推荐的准确性和多样性2 RELATED WORKCF：MF、FM神经网络RS：NCF、NFM、DeepFM、xDeepFM、DMF、DCN、CMN （

原创 2018-KDD-Real-time Personalization using Embeddings for Search Ranking at Airbnb

Real-time Personalization using Embeddings for Search Ranking at Airbnb2018-KDDAirbnb作为一个短期租赁市场，面对的RS问题比较独特：双边市场，需要为房主和租客优化，用户很少消费同一个item两次，一个listing在确定的一组预定中只能接受一个租客。1 INTRODUCTION双边匹配市场中的搜索排序需要同时满足供应方和需求方。Airbnb的搜索ranking很清晰：输入query是位置和旅行日期将房屋按照位

原创 RS中深度学习的两类方法：表示学习和匹配函数学习

目录1 基于表示学习1.1 无序交互MLP自动编码器AE注意力机制1.2 序列交互RNNCNN注意力机制1.3 多模态内容分类属性用户评论多媒体内容1.4 链路图端到端：NGCF端到端：KGAT两阶段：KPRN2 基于匹配函数学习2.1 双向匹配相似性学习度量学习2.2 多路匹配隐式交互建模显式交互建模显式和隐式交互建模 结合RS中深度学习的两类方法：表示学习和匹配函数学习在搜索中，query和document由相同的术语组成，对他们的术语直接进行匹配至少是有意义的。在推荐中，用户和项来自不同语义的空间

原创 A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Reco

A Survey on Neural Recommendation: From Collaborative Filtering to Content and Context Enriched Recommendation2021-TKDE

原创 哈希表-记录

2021/5/191. 两数之和class Solution: def twoSum(self, nums: List[int], target: int) -> List[int]: num2idx=dict(zip(nums,range(len(nums)))) for i in range(len(nums)): # 如果有相同的数 [1,2,3,3,3,3,4] 3-默认会用最后的value # 所以不

原创 图题-记录

2021/5/11785. 判断二分图这道题真的是烦，明明知道思路了，总是超出递归长度，关键点：dfs 函数遇到fasle怎么 直接return 回去 结束遍历自己这样写一是有错误，混了dfs和bfs，二是超出递归长度class Solution: def isBipartite(self, graph: List[List[int]]) -> bool: n=len(graph) self.flag=True # 给节点分成两组

原创 搜索题-记录

2021/4/161091. 二进制矩阵中的最短路径BFS 注意：遍历每一层完之后 ret+1；不是遍历每一个就ret+1每一层遍历的时候，只要节点被遍历过，就修改为1；就不会再append这个节点了不要设置 -1 直接设置1 不然超时，不知道为啥class Solution: def shortestPathBinaryMatrix(self, grid: List[List[int]]) -> int: if(grid==None):

原创 动态规划2

目录2021/1/26416. 分割等和子集背包问题2021/1/26416. 分割等和子集如果不定义第一列为true，就要对于每个i元素，赋值dp[i][nums[i]]=Trueclass Solution: def canPartition(self, nums: List[int]) -> bool: if(len(nums)<2): return False # 求sum/2 numSum=0

原创 动态规划

目录2020/12/1070. 爬楼梯198. 打家劫舍213. 打家劫舍 II2020/12/1070. 爬楼梯这道简单题 还有几种数学上的快速求解方法 以后再研究 先弄清楚dp的写法class Solution: def __init__(self): self.result=[0,1,2] def climbStairs(self, n: int) -> int: # n的结果如果之前计算过 直接取 if(len(sel

原创 双指针

目录2020/12/31167. 两数之和 II - 输入有序数组633. 平方数之和345. 反转字符串中的元音字母2020/12/31167. 两数之和 II - 输入有序数组头尾指针 开始迭代class Solution: def twoSum(self, numbers: List[int], target: int) -> List[int]: if(numbers==None or len(numbers)<2): return

原创 A Survey on Knowledge Graph-Based Recommender Systems

目录3.1 Embedding-based Method3.1.1 Two-stage Learning Method3.1.2 Joint Learning Method3.1.3 Multi-task Learning Method3.1.4 Summary for Embedding-based Method3.1 Embedding-based Method3.1.1 Two-stage Learning Method两阶段学习方法代表对图嵌入模块和推荐模块进行逐一训练。第一步学习到了实体和关

原创 Research Commentary on Recommendations with Side Information: A Survey and Research Directions

目录1 INTRODUCTION2 EVOLUTION OF RECOMMENDERS WITH SIDE INFORMATION2.1 Overview of recommender systems2.2 Evolution of fundamental methodologies for recommendation2.3 Evolution of side information for recommendation3 CONVENTIONAL MODELS WITH SIDE INFORMATION

原创 KGAT: Knowledge Graph Attention Network for Recommendation

目录摘要2 任务定义3 模型3.1 嵌入层3.2 注意力嵌入传播层3.3 模型预测3.4 优化4 实验摘要推荐算法引入side info，传统算法（FM）假设每个交互都是一个带有side info 编码的独立实例，这些方法不足以从用户的集体行为中提取出协作信号。本文提出KGAT，显式地构造KG图中地高阶连通性。2 任务定义用户-物品二部图知识图谱，注意关系集合R包含正方向和逆方向（比如 电影被xx主演；xx主演电影；这是两个关系）协调知识图，CKE，将用户行为和物品知识整合成一个统一关系图，将

原创 EGES模型

目录2 FRAMEWORK先验知识——图嵌入框架+DeepWalk从用户行为构造物品图基础图嵌入带有side info的图嵌入加强版的带有side info的图嵌入5 RELATED WORK图嵌入带有side info的图嵌入用于RS的图嵌入可伸缩性、稀疏性、冷启动方法基于图嵌入框架，从用户序列构造出item图，学习到item的嵌入。为了解决稀疏性和冷启动问题，将side info也利用到图嵌入框架中。2 FRAMEWORK先验知识——图嵌入框架+DeepWalk通过随机游走得到节点序列，ski

原创 Are We Evaluating Rigorously? Benchmarking Recommendation for Reproducible Evaluation and Fair Compa

目录1 INTRODUCTION2 PAPER COLLECTION AND ANALYSIS2.1 Paper Collection2.2 Paper Analysis2.2.1 数据集2.2.2 数据预处理2.2.3 对比 Baseline2.2.4 目标函数2.2.5 负采样2.2.6 数据划分方法2.2.7 评价指标2.2.8 超参数调整3 IMPACTS OF DIFFERENT FACTORS3.1 数据预处理3.2 目标函数3.3 负采样3.4 数据划分方式3.5 评价指标3.6 复杂度分析

原创 Neural Graph Collaborative Filtering

目录2 METHODOLOGY2 METHODOLOGY

原创 Outer Product-based Neural Collaborative Filtering

目录2 Proposed Methods2.1 ONCF2 Proposed Methods提出了ONCF框架，并且实现了一个具体化实例，ConvNCF2.1 ONCF输入和嵌入按照本文给的嵌入计算方式，不同field的特征嵌入直接相加得到最终的嵌入，所以嵌入是K维。而不是每个field的嵌入concat，得到field数×K的嵌入？？K，嵌入维度；M，用户特征数量；N，物品特征数量。交互map得到K×K的交互map——E[He and Chua, 2017;Beutel et al