从信息检索顶会CIKM'20看搜索、推荐与计算广告新进展

文 | 谷育龙Eric

源 | 搜索推荐广告排序艺术

---

我是谷育龙Eric，研究方向有深度学习、搜索推荐，喜欢为大家分享深度学习在搜索推荐广告排序应用的文章。CIKM作为信息检索、数据挖掘等领域的国际一流会议，每年都有很多搜索推荐广告领域的精彩论文。近日，CIKM 2020于10月19-23日在线上召开，工业界搜索推荐广告的算法又取得了什么新进展呢？本文和大家分享下Alibaba, JD, Tencent, Baidu, Huawei, Amazon, Google, Microsoft, LinkedIn, Yahoo等互联网公司的线上算法技术。

公众号【夕小瑶的卖萌屋】后台回复 【CIKM2020】 可打包下载本文相关paper和CIKM论文集。

Matching （召回）

[1] 2020 (Microsoft) (CIKM) TwinBERT: Distilling Knowledge to Twin-Structured Compressed BERT Models for Large-Scale Retrieval

作者：Wenhao Lu, Jian Jiao and Ruofei Zhang

在召回阶段，如何根据Query、用户状态等，召回最相关的item？Microsoft在这篇论文里提出基于知识蒸馏和Bert的检索模型，来解决大规模召回问题。

[2] 2020 (JD) (CIKM) Decoupled Graph Convolution Network for Inferring Substitutable and Complementary Items

作者：Yiding Liu, Yulong Gu, Zhuoye Ding, Junchao Gao, Ziyi Guo, Yongjun Bao and Weipeng Yan

相似相关关系挖掘，是推荐系统召回阶段最重要的问题。GNN在挖掘图中的节点关系任务上取得了state-of-the-art的效果，但一般的GNN为每个节点学习一个embedding，无法很好的建模节点的多种特性、节点间的多种关系。JD这篇论文里，提出为每一个节点学习两个embedding，同时建模、联合学习相似相关两种关系，巧妙地解决了这个问题。

[3] 2020 (Amazon) (CIKM) P-Companion : A Principled Framework for Diversified Complementary Product Recommendation

作者：Junheng Hao, Tong Zhao, Jin Li, Xin Luna Dong, Christos Faloutsos, Yizhou Sun and Wei Wang

互补（或相关）商品推荐在电商中具有重要的作用，Amazon这篇论文提出基于GNN的模型，同时建模考虑了互补商品推荐时的相关性和多样性问题。

Ranking （排序）

[4] 2020 (JD) (CIKM) Deep Multifaceted Transformers for Multi-objective Ranking in Large-Scale E-commerce Recommender Systems

作者：Yulong Gu, Zhuoye Ding, Shuaiqiang Wang, Lixin Zou, Yiding Liu and Dawei Yin

在排序阶段，用户多种行为序列如何更精细化地建模、多任务如何更好的共同学习、如何解决Bias问题？JD这篇论文给出了工业界实用高效的解决方案。

相似的排序模型，在淘宝搜索、推荐 [37] 等场景，同样取得了很好的线上效果。搜索和推荐排序模型，共同的特性是：给定user和context （搜索中主要关注query, 推荐中主要关注长短期行为），给待排序item打分，不同点在于：在推荐中通常使用待排序item做target attention，在搜索中通常使用user和query做target attention，而且搜索中行为序列构造时可以只需要选取和query预测类目相同的历史行为。

[5] 2020 (Alibaba) (CIKM) Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction

作者：Qi Pi, Xiaoqiang Zhu, Guorui Zhou, Yujing Zhang, Zhe Wang, Lejian Ren, Ying Fan and Kun Gai

CTR预测中通常考虑用户近期的行为，Alibaba介绍了如何通过从用户长期行为搜索最相关的行为，来更完整地建模用户的兴趣。

[6] 2020 (Alibaba) (CIKM) MTBRN : Multiplex Target-Behavior Relation Enhanced Network for Click-Through Rate Prediction

作者：Yufei Feng, Fuyu Lv, Binbin Hu, Fei Sun, Kun Kuang, Yang Liu, Qingwen Liu and Wenwu Ou

CTR模型在建模用户行为序列时，通常使用序列行为建模embedding信息。Alibaba的这篇论文，介绍了如何利用item-item相似关系图、知识图谱等信息，来更好地建模item间更丰富多样的关系。

[7] 2020 (Alibaba) (CIKM) Deep Time-Aware Item Evolution Network for Click-Through Rate Prediction

作者：Xiang Li, Chao Wang, Bin Tong, Jiwei Tan, Xiaoyi Zeng and Tao Zhuang

已有的论文通常考虑user下item的行为序列，Alibaba这篇论文里，介绍了如何考虑每个item下最近交互的用户和时间信息，来更好地建模item的动态变化特性（例如新款爆品），实现CTR预测。

[8] 2020 (Alibaba) (CIKM) Personalized Flight Itinerary Ranking at Fliggy

作者：Jinhong Huang, Yang Li, Shan Sun, Bufeng Zhang and Jin Huang

旅行网站搜索如何做？Alibaba这篇论文介绍了飞猪搜索排序中如何利用attention机制，建模context信息、输入间的关系以及同时考虑个人和群组的行为。

[9] 2020 (Linkedin) (CIKM) Efficient Neural Query Auto Completion

作者：Sida Wang, Weiwei Guo, Huiji Gao and Bo Long

Query自动补全，作为搜索的入口，对用户体验至关重要。Linkedin这篇论文，介绍了如何在召回和排序中建模context信息、query的深度语义信息。

[10] 2020 (Twitter) (CIKM) Relevance Ranking for Real Time Tweet Search

作者：Yan Xia, Yu Sun, Tian Wang, Juan Manuel Caicedo Carvajal, Jinliang Fan, Bhargav Mangipudi, Lisa Huang and Yatharth Sar

相关性是搜索中的重要任务，Twitter场景下时效性很强，query和item变化都非常迅速，加大了相关性任务的挑战性。这篇论文介绍了Twitter多阶段相关性排序的系统。

[11] 2020 (Huawei) (CIKM) Ensembled CTR Prediction via Knowledge Distillation

作者：Jieming Zhu, Jinyang Liu, Weiqi Li, Jincai Lai, Xiuqiang He, Liang Chen and Zibin Zheng

Huawei这篇论文介绍了在知识蒸馏中，使用多个Teacher网络，学习得到更好的student CTR模型。

[12] 2020 (LinkedIn) (CIKM) DeText : A Deep Text Ranking Framework with BERT

作者：Weiwei Guo, Xiaowei Liu, Sida Wang, Huiji Gao, Ananth Sankar, Zimeng Yang, Qi Guo, Liang Zhang, Bo Long, Bee-Chung Chen and Deepak Agarwa

BERT是非常强大的文本建模模型，但对于线上要求低延迟的场景来说模型过于复杂。LinkedIn这篇论文介绍了如何构造一个有效的基于BERT的搜索排序模型。

Post-ranking（重排序）

重排序阶段，如何考虑多样性等问题，生成更好的Top-K结果？

[13] 2020 (Alibaba) (CIKM) EdgeRec: Recommender System on Edge in Mobile Taobao

作者：Yu Gong, Ziwen Jiang, Yufei Feng, Binbin Hu, Kaiqi Zhao, Qingwen Liu and Wenwu Ou

推荐系统如何做到在端上实时响应用户反馈，对结果重排序？Alibaba这篇Awesome的论文给出了非常精彩的解决方案，在线上取得了很好的效果。

[14] 2020 (Huawei) (CIKM) Personalized Re-ranking with Item Relationships for E-commerce

作者：Weiwen Liu, Qing Liu, Ruiming Tang, Junyang Chen, Xiuqiang He and Pheng Ann Heng

对于重排序问题，Huawei这篇论文将item的表示成一个异构图，提出一个基于GNN的框架，来建模item的关系、用户的个性化意图等信息。

Graph Neural Networks

[15] 2020 (Tencent) (CIKM) Graph Neural Network for Tag Ranking in Tag-enhanced Video Recommendation

作者：Qi Liu, Ruobing Xie, Lei Chen, Shukai Liu, Ke Tu, Peng Cui, Bo Zhang and Leyu Lin

腾讯微信在这篇文章提出基于GNN的tag排序模型，将user, video, tag关系建模为一个异构图，然后在基于transformer, GraphSAGE和FM进行节点聚合，在微信看一看视频推荐中取得了很好的效果。

Transfer Learning

[16] 2020 (Google) (CIKM) Zero-Shot Heterogeneous Transfer Learning from Recommender Systems to Cold-Start Search Retrieval

作者：Tao Wu, Ellie Ka-In Chio, Heng-Tze Cheng, Yu Du, Steffen Rendle, Dima Kuzmin, Ritesh Agarwal, Li Zhang, John Anderson, Sarvjeet Singh, Tushar Chandra, Ed Chi, Wen Li, Ankit Kumar, Xiang Ma, Alex Soares, Nitin Jindal and Pei Cao

如何借助推荐系统的物品间的关系，解决搜索中的冷启动、长尾问题？Google的这个工作，是搜索、推荐共同学习的一个很好的起点。

[17] 2020 (Alibaba) (CIKM) MiNet : Mixed Interest Network for Cross-Domain Click-Through Rate Prediction

作者：Wentao Ouyang, Xiuwu Zhang, Lei Zhao, Jinmei Luo, Yu Zhang, Heng Zou, Zhaojie Liu and Yanlong Du

实际推荐系统中，通常有多个域，跨域推荐系统如何共同学习？Alibaba这篇论文给出了实用巧妙的解决方案，获得了best paper的提名。

[18] 2020 (Alibaba) (CIKM) Improving Multi-Scenario Learning to Rank in E-commerce by Exploiting Task Relationships in the Label Space

作者：Pengcheng Li, Runze Li, Qing Da, An-Xiang Zeng and Lijun Zhang

搜索系统中，通常有多个场景。Alibaba这篇论文提出了在跨境电商中，基于MMoE思想，学习一个通用的模型，同时服务多个场景的搜索，取得了更好的效果，同时具备方便部署、减少成本的优势。

[19] 2020 (Rakuten) (CIKM) Learning to Profile : User Meta-Profile Network for Few-Shot Learning

作者：Hao Gong, Qifang Zhao, Tianyu Li, Derek Cho and Duykhuong Nguyen

Rakuten在这篇论文里，提出了基于Few-shot Learning的用户画像学习，用于电商场景。

Reinforcement Learning

[20] 2020 (Baidu) (CIKM) Whole-Chain Recommendations

作者：Xiangyu Zhao, Long Xia, Lixin Zou, Dawei Yin, Jiliang Tang and Hui Liu

这篇MSU和Baidu的论文，介绍了如何利用基于multi-agent的强化学习来优化推荐系统的多个场景，实现整体最优，对强化学习在推荐系统中的应用具有很好的启示作用。

[21] 2020 (Amazon) (CIKM) Learning to Rank in the Position Based Model with Bandit Feedback

作者：Beyza Ermis, Patrick Ernst, Yannik Stein and Giovanni Zappella

Amazon在这篇论文扩展了经典的contextual bandit算法，考虑了位置点击模型解决bias问题，来优化个性化推荐。

User Profiling （用户画像）

[22] 2020 (Tencent) (CIKM) Learning to Build User-tag Profile in Recommendation System

作者：Su Yan, Xin Chen, Ran Huo, Xu Zhang and Leyu Lin

用户画像是搜索推荐广告的重要基石，腾讯微信在这篇论文中，将用户的tag profiling问题看成一个multi-label分类问题，并使用multi-head attention和改进的基于FM特征交叉模型，应用到微信看一看。

更多精彩内容

[23] 2020 (Alibaba) (CIKM) A Deep Prediction Network for Understanding Advertiser Intent and Satisfaction. Liyi Guo, Rui Lu, Haoqi Zhang, Junqi Jin, Zhenzhe Zheng, Fan Wu, Jin Li, Haiyang Xu, Han Li, Wenkai Lu, Jian Xu and Kun Gai

[24] 2020 (Alibaba) (CIKM) Multi-Channel Sellers Traffic Allocation in Large-scale E-commerce Promotion. Shen Xin, Yizhou Ye, Martin Ester, Cheng Long, Jie Zhang, Zhao Li, Kaiying Yuan and Yanghua Li

[25] 2020 (Alibaba) (CIKM) Spending Money Wisely : Online Electronic Coupon Allocation based on Real-Time User Intent Detection. Liangwei Li, Liucheng Sun, Chenwei Weng, Chengfu Huo and Weijun Ren

[26] 2020 (Didi) (CIKM) Masked-field Pre-training for User Intent Prediction. Peng Wang, Jiang Xu, Chunyi Liu, Hao Feng, Zang Li and Jieping Ye

[27] 2020 (eBay) (CIKM) Intent-Driven Similarity in E-Commerce Listings. Gilad Fuchs, Yoni Acriche, Idan Hasson and Pavel Petrov

[28] 2020 (Huawei) (CIKM) U-rank : Utility-oriented Learning to Rank with Implicit Feedback. Xinyi Dai, Jiawei Hou, Qing Liu, Yunjia Xi, Ruiming Tang, Weinan Zhang, Xiuqiang He, Jun Wang and Yong Yu

[29] 2020 (LinkedIn) (CIKM) Incorporating User Feedback into Sequence to Sequence Model Training. Michaeel Kazi, Weiwei Guo, Huiji Gao and Bo Long

[30] 2020 (Meituan) (CIKM) Query-aware Tip Generation for Vertical Search. Yang Yang, Junmei Hao, Canjia Li, Zili Wang, Jingang Wang, Fuzheng Zhang, Rao Fu, Peixu Hou, Gong Zhang and Zhongyuan Wang

[31] 2020 (Microsoft) (CIKM) AutoADR : Automatic Model Design for Ad Relevance. Yiren Chen, Yaming Yang, Hong Sun, Yujing Wang, Yu Xu, Wei Shen, Rong Zhou, Yunhai Tong, Jing Bai and Ruofei Zhang

[32] 2020 (Netease) (CIKM) Personalized Bundle Recommendation in Online Games. Qilin Deng, Kai Wang, Minghao Zhao, Zhene Zou, Runze Wu, Jianrong Tao, Changjie Fan and Liang Chen

[33] 2020 (Pingan) (CIKM) Learning Effective Representations for Person-Job Fit by Feature Fusion. Junshu Jiang, Songyun Ye, Wei Wang, Jingran Xu and Xiaosheng Luo

[34] 2020 (Yahoo) (CIKM) Learning to Create Better Ads : Generation and Ranking Approaches for Ad Creative Refinement. Shaunak Mishra, Manisha Verma, Yichao Zhou, Kapil Thadani and Wei Wang

[35] 2020 (Yahoo) (CIKM) Prospective Modeling of Users for Online Display Advertising via Deep Time-Aware Model. Djordje Gligorijevic, Jelena Gligorijevic and Aaron Flores

[36] CIKM 2020完整论文集合：https://dl.acm.org/doi/proceedings/10.1145/3340531。

[37] Chen, Qiwei, Huan Zhao, Wei Li, Pipei Huang, and Wenwu Ou. "Behavior sequence transformer for e-commerce recommendation in alibaba." DLP-KDD 2019.

我是谷育龙Eric，研究方向有深度学习、搜索推荐，喜欢为大家分享深度学习在搜索推荐广告排序应用的文章。欢迎大家到我的公众号“深度学习排序艺术”进行更多交流。

公众号【夕小瑶的卖萌屋】后台回复 【CIKM2020】 可打包下载本文相关paper和CIKM论文集。

后台回复关键词【入群】

加入卖萌屋NLP/IR/Rec与求职讨论群

有顶会审稿人、大厂研究员、知乎大V和妹纸

等你来撩哦~