NLP技术在搜索推荐场景中的应用

NLP技术在搜索推荐中的应用非常广泛，例如在搜索广告的CTR预估模型中，NLP技术可以从语义角度提取一些对CTR预测有效的信息；在搜索场景中，也经常需要使用NLP技术确定展现的物料与搜索query的相关性，过滤掉相关性较差的物料，防止对用户体验造成负面影响。在推荐场景中，文本信息也可以作为一种泛化性较强的信息补充，弥补协同过滤信号的稀疏性问题，提升预测效果。

今天这篇文章梳理了NLP技术在搜索推荐场景中3个方面的应用，分别是NLP提升CTR预估效果、NLP解决搜索场景相关性问题、NLP信息优化基于推荐系统效果。

1 NLP特征提升CTR预估效果

Learning Supplementary NLP Features for CTR Prediction in Sponsored Search（KDD 2022）是微软必应团队在近年KDD上发表的一篇工作，主要介绍了如何利用NLP特征提升CTR预估的效果。这篇工作的应用场景是必应的搜索广告，需要对给定搜索词下不同的广告document进行CTR预测，并根据预测的CTR进行排序。

业内一般使用NLP特征的方法是，使用预训练的BERT模型，给当前query和document对进行相关性打分，将这个打分作为一维特征输入到CTR预估模型中。然而文中指出，这种应用NLP特征的方法并不是最优的。本文提出了一种BERT和CTR预估模型联合训练的方式，让BERT提取的语义特征和CTR预估任务更加契合。

基础的模型结构如下图，左侧是位置特征和CTR预估的其他特征（如user、context特征等），右侧是语义特征，使用预训练的BERT，以query和ad文本作为输入，得到query和ad匹配的向量。CTR预估的向量和BERT生成的向