浅析Attention在推荐系统中的应用（1）Attention简介

 

欢迎关注本人公众号： petertalks

前言

Attention最早应用于图像领域，而后大面积用于seqs2seqs类型的任务如机器翻译等。随着17年google《Attention is all you need》的发表更是将attention推向热点。近几年无论是在nlp、还是推荐领域。attention机制可谓是大放异彩，从nlp领域的transformer、bert，xlnet，到推荐领域的autoInt、阿里家的BST等皆是以attention为基础。

由于工作需要近期笔者对attention机制进行了些调研，本文在此对attention及常用变种原理，以及attention在推荐系统模型中的各种应用进行了简单整理和总结。笔者蒟蒻一枚，若有失误再所难免，欢迎各位大佬前来指导交流~

 

浅析Attention在推荐系统中的应用（1）Attention简介

浅析Attention在推荐系统中的应用（2）阿里Deep Interest Network模型

浅析Attention在推荐系统中的应用（3）AutoInt模型

浅析Attention在推荐系统中的应用（4）Transformer与阿里BST模型

 

Attention机制

 

attention简介

Attention机制又称注意力机制，是种让模型对重要信息重点关注的机制，它本身不算个完整的模型，应该是种能够应用在任何序列模型中的技术。生活中大家对attention应该都不陌生。举个不太恰当的例子，假设我们的面前有一桌大概几十盘菜&