自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

nakaizura

每天都想进悠闲会的翔二

  • 博客(113)
  • 资源 (2)
  • 收藏
  • 关注

原创 Nakaizura Blog Index(博文目录索引)

博文目录索引整理下博客分类,只按时间分有点乱。一. 基础理论:机器学习基础,深度学习基础二. 流行技术:生成对抗,强化学习,图神经网络三. 应用领域:推荐系统,计算机视觉,自然语言处理,多媒体和多模态,金融量化四. 其他:备忘和github一. 基础理论机器学习基础文章名传送门内容概要kNN门k-近邻决策树门ID3,C4.5,CART贝叶斯门贝叶斯线性回归门线性回归,梯度下降,正则化逻辑回归门逻辑回归,常用损失函数整理,M

2020-08-09 20:58:30 6579 3

原创 Source-Code-Notebook(源码解析和逐行笔记)

Source-Code-Notebook关于一些经典论文源码Source Code的中文笔记,尽量做到整体框架梳理和逐行源码注释。不过太早期的代码一般都模块化了,所以主要更一些后期(2017-NOW)的笔记。语言主要是pytorch和Tensorflow版本的代码,部分keras。有注解错误和思路问题欢迎讨论。大部分都在本博客里面有文章整理过吧,思路+源码一起吃能对pap...

2020-05-03 21:36:50 4750

原创 Vision MLP(MLP-Mixer,RepMLP,ResMLP,gMLP,CycleMLP)

MLP–>CNN–>Transformer–>MLP天道好轮回。CNN家族和Vision Transformer博主已经整理过,不再赘述,本期博文主要整理Vision MLP范式的文章们。Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet首先需要思考的问题是,当Transformer开始流行于视觉领域时,其注意力机制真的是保障图像分类任务性能的关键

2021-07-24 15:04:21 769 3

原创 神经主题模型及应用(Neural Topic Model)

主题模型一般会从一组文档中抽取若干组关键词来表达文档的核心思想,即“主题”。首先看看最经典的概率主题模型,LDA模型。Latent Dirichlet Allocation具体来说它是三层贝叶斯概率模型,即认为每个文档的每个词都是通过“以一定概率选择某个主题,并从这个主题中以一定概率选择某个词汇”,所以包括两个分布:文档-主题分布,主题-词汇分布。对于每个文档,先从α\alphaα的Dirichlet分布中生成文档-主题分布θd\theta_dθd​。然后对于每个主题k,从β\betaβ的Di

2021-06-27 17:21:47 898 1

原创 GPT plus money (OpenAI CLIP,DALL-E)

OpenAI 同时发布了两个连接文本与图像的神经网络,DALL·E 可以基于文本直接生成图像,CLIP 能够完成图像与文本类别的匹配。CLIP输入图片,输出文本描述。正因为是描述,所以可以在各种图像分类任务上进行zero-shot。模型架构分为两部分,图像编码器和文本编码器,图像编码器可以是比如 resnet50,然后文本编码器可以是 transformer。训练数据是网络社交媒体上搜集的图像文本对。在训练阶段,对于一个batch 的数据,首先通过文本编码器和图像编码器,得到文本和图像的特征,接着

2021-05-17 11:04:25 869

原创 Intelligent information retrieval(智能信息检索综述)

智能信息检索最近看了超星上的微软关于搜索引擎和信息检索技术的一个课程:《智能信息检索》,这篇博文用于记录一些重点内容,详细课程可以去看raw video。1 search engine overview——system,algorithms and challenges搜索引擎主要流程如上图,从下到上主要有:Web-Crawler抓取网页。现有的网页总数超万亿,所以需要决定抓取哪些网页,并多长时间来更新网页(网页会有自己的更新与变动),特别是搜索公司只存快照(为了检索速度快,不可能对比所有网页

2021-04-29 20:33:42 939

原创 Video Caption(跨模态视频摘要/字幕生成)

Video Caption视频摘要/视频字母生成属于多模态学习下的一个子任务,大体目标就是根据视频内容给出一句文字描述。所生成的caption可用于后续的视频检索等等,也可以直接帮助智能体或者有视觉障碍的人理解现实情况。典型的架构如上图(图自[ICCV2015] Sequence to Sequence – Video to Text,从视频帧到文本句子的端对端模型),该任务可以分解为两个子任务,一个是如何理解视频/多模态,并融合以得到更好的视觉表示,另一个是视频描述生成,如何得到质量高,甚至可控、稳.

2021-03-13 21:38:31 2292 1

原创 Multi-Label Image Classification(多标签图像分类)

Multi-Label Classification首先分清一下multiclass和multilabel:多类分类(Multiclass classification): 表示分类任务中有多个类别, 且假设每个样本都被设置了一个且仅有一个标签。比如从100个分类中击中一个。多标签分类(Multilabel classification): 给每个样本一系列的目标标签,即表示的是样本各属性而不是相互排斥的。比如图片中有很多的概念如天空海洋人等等,需要预测出一个概念集合。Challenge多标签

2021-03-13 18:35:13 2889 1

原创 图神经网络用于推荐系统问题(IMP-GCN,LR-GCN)

本篇文章follow一些Graph in Rec 的部分文章,以前博主整理过的系列可以见:图神经网络用于推荐系统问题(PinSage,EGES,SR-GNN)图神经网络用于推荐系统问题(NGCF,LightGCN)Interest-aware Message-Passing GCN for Recommendation来自WWW2021的文章,探讨推荐系统中的过平滑问题。从何向南大佬的NGCF开始一直强调的就是高阶邻居的协作信号是可以学习良好的用户和项目嵌入。虽然GCN容易过平滑(即叠加更多层

2021-03-03 17:08:09 3063 7

原创 知识图谱用于推荐系统问题(MVIN,KERL,CKAN,KRED,GAEAT)

应各位博客读者大佬的看得起…本篇文章继续整理这个lineup的后续,主要是2020年SIGIR,CIKM,RecSys的相关文章。关于以前博主整理过的知识图谱文章传送门:知识图谱用于推荐系统问题(CKE,RippleNet)知识图谱用于推荐系统问题(MKR,KTUP,KGAT)MVIN: Learning Multiview Items for Recommendation来自SIGIR2020的文章。现在有很多文章都在推荐系统中引入外部的知识来提升推荐系统的效果,但没有人考虑过多方面的it

2021-03-03 15:47:19 2110 1

原创 Learning to Pre-train Graph Neural Networks(图预训练与微调)

博主曾经整理过一篇图预训练的文章,此后有很多在Graph上做Pretraning的文章层出不穷,但基本上万变不离其宗,都是在node-level和graph-level上做自监督学习。Learning to Pre-train Graph Neural Networks这篇文章来自AAAI 2021。其核心的思想其实就是:如何缓解GNN预训练和微调之间的优化误差?首先作者论证了 GNN 预训练是一个两阶段的流程:Pre-traning。先在大规模图数据集上进行预训练。即对参数theta进行更新使其

2021-02-23 21:31:01 1201

原创 对比学习的应用(LCGNN,VideoMoCo,GraphCL,XMC-GAN)

之前已经有博文整理过了对比学习的概念,比较重要且流行的文章,和一些已经有的应用(主要是基于InfoNCE等早期的手段):Contrastive Learning(对比学习,MoCo,SimCLR,BYOL,SimSiam)对比学习的应用(CLCaption,C-SWM,CMC))本篇博文将继续整理一些对比学习的应用,主要是集中在MoCo和SimCLR等模型。Label Contrastive Coding based Graph Neural Network for Graph Classif

2021-02-23 17:57:47 1871 3

原创 Zero-Shot Image Retrieval(零样本跨模态检索)

上一篇博文简要整理了元学习和少样本学习,本篇文章重点整理几篇利用零样本学习做检索的文章。该问题的难度在于使用人类草图被用作查询以从不可见的类别中检索照片:草图和图片的跨模态域差异大。sketch只有物体的轮廓,与image相比只有很少的信息。由于不同人的绘画风格不一样,sketch的类内方差也很大。怎么适应大规模检索,适应从Unseen中检索出图片。A Zero-Shot Framework for Sketch Based Image Retrieval来自ECCV2018。主要是思想是利

2021-02-07 11:48:32 1805 4

原创 Meta-learning(元学习与少样本学习)

Meta-learning(元学习)虽然目前很多暴力堆算力堆数据的模型取得了很好的效果,但由于有些数据很难收集到,或者大量的标注耗费人力太多,关于元学习的研究也很多。特别是比如人类往往只需要通过少量数据就能做到快速学习,甚至不需要数据仅仅凭概念就可以完成推理。这种能力基本就属于元学习的范畴,或者机器学习领域中的zero-shot,few-shot learning了,首先看看概念:Meta-learning,元学习。学习怎么去学习。所谓“元”对应着人类在幼儿时期就掌握的对世界的基础知识和行为模式的理解

2021-02-06 17:12:42 1595

原创 Transformer变体(Routing Transformer,Linformer,Big Bird)

本篇博文继续前两篇文章进行整理,前两篇文章传送门:Transformer变体(Sparse Transformer,Longformer,Switch Transformer)Transformer变体(Star-Transformer,Transformer-XL)Efficient Content-Based Sparse Attention with RoutingTransformers和前两篇博文的目标一样,如何使标准Transformer的时间复杂度降低。Routing Trans

2021-02-01 20:56:49 1230 1

原创 Transformer变体(Sparse Transformer,Longformer,Switch Transformer)

不知不觉Transformer已经逐步渗透到了各个领域,就其本身也产生了相当多的变体,如上图。博主前一篇类似博文更新了 Transformer变体(Star-Transformer,Transformer-XL),本篇文章想整理一下这两篇很重要的Transformer变体,分别是Sparse Transformer and Switch Transformer。Explicit Sparse Transformer: : Concentrated Attention Through Explicit .

2021-02-01 17:43:45 991

原创 异构图神经网络用于推荐系统问题(ACKRec,HFGN)

继续整理几篇SIGIR2020的Graph+Recommendation的论文,其他的一些论文整理可以看博主以往博文(传送门),本篇只整理两篇比较有意思的异构图+推荐的文章。Attentional Graph Convolutional Networks for Knowledge Concept Recommendation in MOOCs in a Heterogeneous View(ACKRec)背景是mooc上给学生推荐视频,实质还是rating预测。比较不一样的是为了处理稀疏问题+课程里

2021-01-24 21:47:59 1438

原创 Vision Transformer(iGPT,ViT,DERT,IPT,TransReID,TransGAN,TNT,CvT)

Transformer太过强大,目前有很多模型都将其引入自己的领域做调整,除了它最先发迹的NLP外,也初步的从NLP到达CV的战场。本篇只整理几篇在纯CV届的Transformer应用。博主曾经整理过Cross-modal的Transformer也可以参考,传送门:Cross-modal Pretraining in BERT(跨模态预训练)。首先先看看既然Transformer能在NLP中淘汰RNN,那么作为另一个神经网络基石级的CNN,是否也可以直接被替代呢?Generative Pretrain

2021-01-24 21:12:35 3928

原创 对比学习的应用(CLCaption,C-SWM,CMC,SGL)

Contrastive Learning,对比学习的一些理论概念博主已经在上篇文章整理了,传送门:Contrastive Learning(对比学习,MoCo,SimCLR,BYOL,SimSiam),本篇文章想整理几篇博主最近看到的比较有代表性的应用论文,话不多说直接开始。Label Contrastive Coding based Graph Neural Network for Graph Classification基于标签对比编码的图分类图神经网络。一般做图分类的方法也是先学图的表示,主要有

2021-01-24 18:00:49 1303

原创 多模态信息用于推荐系统问题(LOGO,MMGCN,MKGAT)

推荐已经成为许多在线内容共享服务的核心组成部分,从图像、博客公众号、音乐推荐、短视频推荐等等。与传统推荐不一样的地方,就是这些项目内容包含着丰富的多媒体信息-帧、音轨和描述,涉及多种形式的视觉、声学和文本信息。那么如此丰富的多媒体,多模态信息如何融合到推荐中呢?最普通也是最直接的方式可能就是对多模态抽特征,然后多模态融合直接作为side Information或者item的representation之后参与到推荐中的,这种暂时不整理吧,本篇博文主要整理两篇整合多模态信息到表示中的文章,不过一篇涉及到了G

2020-12-28 22:21:35 4495 16

原创 用户行为和属性用于推荐系统问题(MBGCN,AGCN)

传统结合行为,基础属性,高级属性等等的side Information的方法会分连续型或离散型嵌入,然后当作一个分factor输入到推荐系统其他的部分中用于加强推荐的效果,最近看到SIGIR20’有两篇针对行为和属性的方法,且都用了Graph来做为解决方案,效果不错。主要是Graph的方法,涉及到图的更新和嵌入知识博主以往的文章已经更新过了,不做赘述。Multi-behavior Recommendation with Graph Convolutional Networks这篇文章主要是针对多行为对

2020-12-26 22:31:03 1716 2

原创 Diffusion Graph and Multi-hop Graph(扩散多跳图)

现有GNN网络基本都只从邻居聚合,虽然通过多阶多层的GNN之后可以得到远程信息,但其又免不了陷入过平滑等等的问题,那能否在单层GNN上就完成远程信息的聚合呢?Diffusion-Convolutional Neural Networks(DCNN)为了得到多跳(hop)的远程表示,那就直接对每一个节点都采用H个hop的矩阵进行表示,其中每一个hop都表示该邻近范围的邻近信息不就可以了?所以这个想法就如上图,图比较抽象,详细来说需要先定义,graph G的节点集合为V,边集合是E。所有节点的特征矩.

2020-12-26 18:17:34 1196

原创 Domain Adaptation(领域自适应,MMD,DANN)

Domain Adaptation现有深度学习模型都不具有普适性,即在某个数据集上训练的结果只能在某个领域中有效,而很难迁移到其他的场景中,因此出现了迁移学习这一领域。其目标就是将原数据域(源域,source domain)尽可能好的迁移到目标域(target domain),Domain Adaptation任务中往往源域和目标域属于同一类任务,即源于为训练样本域(有标签),目标域为测集域,其测试集域无标签或只有少量标签,但是分布不同或数据差异大,具体根据这两点可以划分为:homogeneous .

2020-12-26 17:03:22 4716 5

原创 Ad-hoc Video Search(AVS跨模态视频检索)

AVS任务也是跨模态检索中的一种,即对于给定的句子,尝试在视频库中检索出语义相关的内容。而跨模态相关的文章,博主已经在其他跨模态检索的文章中介绍过了。Ad-hoc和传统的视频检索任务不太一样,如它的名字ad-hoc一样,这其实属于推荐中的两者形态:ad hoc。类似于书籍检索。数据相对稳定不变,而查询千变万化。routing。类型与新闻推荐。用户兴趣稳定不变,但数据不断变化。一般的跨模态会有预定义语义标签,而AVS任务只能通过建模用户的 查询意图, 所以某种程度上它的难度更偏向于相似度匹配问题。

2020-11-15 20:23:34 1820

原创 Diversified Retrieval(多样性检索,MMR,DPP)

多模态和跨模态的文章博主在之前的都整理过了,最近对多样性比较感兴趣,但是发现做这个方向的人确实太少了(虽然在推荐里面做的人还是挺多的)。暂时把目前看到觉得还不错的文章整理一下。Diversity在推荐系统的目标主要是Exploitation 和 Exploration。每一模块如上图,多样性在用户体验中还是十分重要的部分。其中的多样性可分为:个体多样性:从单个用户的角度来衡量的推荐系统多样性,主要考察系统能够找到用户喜欢的冷门项目的能力。(衡量方法仍然是item之间)总体多样性:主要强调对不同用

2020-11-15 19:40:43 1922

原创 Contrastive Learning(对比学习,MoCo,SimCLR,BYOL,SimSiam,SimCSE)

很多大佬认为,深度学习的本质就是做两件事情:Representation Learning(表示学习)和 Inductive Bias Learning(归纳偏好学习)。在表示学习方面,如果直接对语义进行监督学习,虽然表现很好,但是它需要很多的样本并且往往是需要对特定的任务进行设计,很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台,自监督是未来!自监督学习有大类方法,一个是生成方法一个对比方法,如上图。生成方法往往会对像素级损失进行约束,而对比学习在表示学习上做的事情就是,其实模型不必要知道关于.

2020-10-06 19:14:34 5524

原创 Deep Active Learning(深度主动学习)

Active Learning(主动学习)自主学习,可以理解为模型与人类专家之间的询问式学习,试图通过标记最少量的样本使得模型的性能收益最大化,这样可以减少很多人为的标定工作,只标模型需要的样本。具体怎么做呢?一图胜千言:大概的意思是:如果模型遇到了迷惑的地方,就主动的询问专家(这也是为什么要叫主动学习),然后由专家标定完,将这个标定了的新样本纳入到样本集中,再一起训练,这样可能逐步改善模型的困惑,同时一些模型已经学的很好的样本就不需要再标定(这思路和SVM某种程度挺像的)。具体捕捉是:先把一小.

2020-10-06 16:55:54 1725

原创 Person Re-Identification(ReID行人重识别)

ReID?ReID是图像检索的子任务,它主要的目的是:利用计算机视觉技术对特定行人进行跨视域匹配和检索。所谓跨视域即是图片来自于不同的摄像头,这样可以用于智能视频监控(如无人超市)、刑侦(追捕嫌疑人)、交管(追踪车辆等)等等应用场景。如上图,需要检索到同一个人(查询图像query)在各个摄像头下图片集(候选行人库gallery)的相关图片。困难点困难点主要在于ReID任务的跨视域特性有:摄像头分辨率不同拍摄角度不一 致光照条件不同背景变化大人体属于非刚性目标,外观会因姿态、遮挡、光照、.

2020-08-22 21:42:35 2196

原创 GPU Memory Problems in PyTorch(显卡爆炸与利用率不足)

如今研究人工智能,跑深度学习算法,显卡/GPU绝对是第一大门槛,所以不管您是1080Ti还是V100,如果不能发挥出GPU的最大能力,那它可能就是不是显卡而是块普通的砖头了吧。显卡爆炸显卡爆炸和内存的使用紧密相连,特别是在代码中对某些变量的不当使用,很有可能内存泄露,从而慢慢得导致显卡OOM(out of memory)。一般来说,计算模型时显存主要是模型参数 + 计算产生的中间变量,细分可以占用分四个部分:模型参数模型计算中间结果反向传播中间结果优化器额外参数但是如果模型出现显卡内存不足

2020-08-15 21:22:57 2658

原创 Graph Neural Network(GAE,GVAE,ARGA)

前面几次的整理GCN,GAT,GraphSAGE等等都适合在半监督,监督的场景下,而有没有图方法可以使用于在无监督的场景下使用呢?去发现节点的内在结果,挖掘隐藏关系如链接预测等等任务。答案是:自编码器(AE) /变分自编码器(VAE)+GraphGraph Auto-Encoders (GAE)GAE的目的是通过encoder-decoder 的结构去获取到图中节点的 embedding,然后再去做具体的下游任务比如链接预测。首先回顾一下自编码器,它是利用神经网络将数据逐层降维压缩,相当于让每层神

2020-08-09 17:21:10 2474 10

原创 Knowledge Graph Completion(知识图谱补全)

知识图谱补全算法能让知识图谱变得更加完整,按照能否处理新实体或者新关系,可以将知识图谱补全算法分成两类:静态知识图谱补全(Static KGC),该场景的作用是补全已知实体之间的隐含关系。仅能处理实体以及关系都是固定的场景,扩展性较差动态知识图谱补全(Dynamic KGC),涉及不止知 识图谱G中的实体或关系,该场景能够建立知识图谱与外界的关联,从而扩大知识图谱的实体集、关系集以及三元组集。可以处理含有新实体或者新关系的场景,能够构造动态的知识图谱,具有更好的现实意义虽然知识图谱能提供高质量的结

2020-08-09 15:01:10 5189

原创 Cross-modal Video Moment Retrieval(跨模态视频时刻检索综述)
原力计划

这个方向的出的文章已经有很多了,但是似乎还没有一个统一一点的名字,叫 时域语言定位(Temporally Language Grounding),或者跨模态视频时刻检索/定位(Cross-modal Video Moment Retrieval/Localization)等等都有。大概给一个定义就是:给定一句自然语言描述的查询语句query,在未剪裁的完整视频中确定该描述发生的时间片段(起始时间,终止时间),简单来讲如上图,就是用一段文字查询具体的视频片段。它与纯的动作定位任务不同之处在于多了跨模态(文.

2020-07-13 17:54:21 6742 16

原创 Unsupervised Learning(图像和文本上的无监督学习和数据增强)
原力计划

Momentum Contrast for Visual Representation Learning。Kaiming大神的文章还是需要细细琢磨的。先简单回顾一下Unsupervised Learning。Unsupervised Learning虽然身处数据时代, 每个人都无时无刻不在产生着数据,但是能用的数据实际上是很少的,而且而且现在大量的数据都是没有标注的。目前性能最好的当然是监督学习,但它的表现是完全靠大规模标注数据集+多GPU/TPU的算力支撑的,对于数据集的收集和人工标注需耗费大量的人.

2020-07-12 18:41:19 1657 5

原创 图神经网络用于推荐系统问题(NGCF,LightGCN)
原力计划

何向南老师组的又两大必读论文,分别发在SIGIR19’和SIGIR20’。Neural Graph Collaborative Filtering协同过滤(collaborative filtering)的基本假设是相似的用户会对物品展现出相似的偏好,自从全面进入深度学习领域之后,一般主要是先在隐空间中学习关于user和item的embedding,然后重建两者的交互即interaction modeling,如MF做内积,NCF模拟高阶交互等。但是他们并没有把user和item的交互信息本身编码进 .

2020-06-26 17:22:55 7444 20

原创 Strategies for Pre-training Graph Neural Networks(图预训练)
原力计划

STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKSICLR2020,Stanford出品。用于GNN的预训练策略。paper:https://openreview.net/forum?id=HJlWWJSFDH&noteId=HJlWWJSFDHcode:https://github.com/snap-stanford/pretrain-gnns/预训练从CV领域开始取得了很好的效果,到BERT在NLP大杀四方,终于Graph也开始Pretr.

2020-05-31 18:12:43 3250

原创 胶囊网络用于推荐系统问题(MIND,CARP)
原力计划

Multi-Interest Network with Dynamic Routing for Recommendation at Tmall多兴趣动态路由,出自一直在学术前沿的阿里:https://arxiv.org/pdf/1904.08030.pdf 。推荐系统中默认用户的历史行为代表着用户的兴趣,而传统的Embedding方式会用DNN把用户特征固定成一个低维向量,不能很好的捕捉到用户动态的,多方面丰富的兴趣特征。所以DIN方法采用自注意力,使同一个用户与不同的item预测时用户产生的Embe.

2020-05-29 22:37:21 3359

原创 知识图谱用于推荐系统问题(CKE,RippleNet)
原力计划

Knowledge Graph知识图谱是一种语义图,其结点(node)代表实体(entity)或者概念(concept),边(edge)代表实体/概念之间的各种语义关系(relation)。一个知识图谱由若干个三元组(h、r、t)组成,其中h和t代表一条关系的头结点和尾节点,r代表关系。引入知识图谱进入推荐系统领域的优点在于:精确性(precision)。为物品item引入了更多的语义关系,可以深层次地发现用户兴趣多样性(diversity)。提供了不同的关系连接种类,有利于推荐结果的发散,避免.

2020-05-29 18:16:39 5127 18

原创 知识图谱用于推荐系统问题(MKR,KTUP,KGAT)
原力计划

前一篇文章介绍了知识图谱用于推荐系统问题(CKE,RippleNet),这一篇博文目整理对KG和RC融合的更加深入的两篇文章MKR,KTUP。MKR利用一个Cross单元使两者融合,KTUP则是相互补全相互增强的思路。Multi-task Learning for KG enhanced Recommendation (MKR)交替学习文章以更好的融合KG和RC。模型图如下:左边是推荐任务。用户和物品的特征表示作为输入,预测点击率y右边是知识图谱任务。三元组的头结点h和关系r表示作为输入,预测

2020-05-29 18:08:30 4200 2

原创 图神经网络用于推荐系统问题(PinSage,EGES,SR-GNN)

Session-based Recommendation with Graph Neural Networks会话序列推荐的图应用,发自AAAI 2019,先放链接:blog:https://sxkdz.github.io/research/SR-GNN/paper:https://arxiv.org/abs/1811.00855code:https://github.com/CRIPAC-DIG/SR-GNN会话推荐是指,对于一个用户的点击序列(即session),预测下一个要点击的物品。即输.

2020-05-29 14:44:54 6794

原创 注意力机制用于推荐系统问题(DIN,DIEN,BERT4Rec,PRM)

当注意力机制都已经变成很tasteless的手法的时候,使用/魔改注意力机制一定要专注讲好自己的故事…即为什么要用Attention,为什么要魔改Attention。DIN和DIEN都是阿里针对CTR预估的模型,都主要是对用户历史行为数据的进一步挖掘的工作。CTR预估任务是,根据给定广告/物品、用户和大量的上下文情况等信息,对点击进行预测,所以对用户的兴趣理解,历史行为数据非常重要。Deep Interest Network for Click-Through Rate Prediction(DIN).

2020-05-28 21:14:02 3182 6

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除