SIGIR2019|基于注意力机制的新型深度学习模型(采莓树模型BIRD,已开源)

Finding Camouflaged Needle in a Haystack? Pornographic Products Detection via Berrypicking Tree Model

Guoxiu He, Yangyang Kang, Zhe Gao, Zhuoren Jiang, Changlong Sun, Xiaozhong Liu, Wei Lu, Qiong Zhang, Luo Si

Wuhan University, Alibaba Group, Sun Yat-sen University, Indiana University Bloomington

http://47.96.153.156/pubs/2019/09/17/ab7b85fb-8717-4204-9f70-ba2150f48fb2.pdf

http://delivery.acm.org/10.1145/3340000/3331197/p365-he.pdf

http://sigir.org/sigir2019/slides/10.1145-3331184.3331197.pdf

 

 

对于电商服务（如eBay, eBid 和淘宝）来说，检测非法产品既重要又紧迫。但是，该项任务具有一定的挑战性，因为一些卖家可能会利用和更改伪装文本来欺骗检测算法。

 

这篇文章旨在解决如何从大量产品中动态定位色情产品。先前有些论文将关注点放在基于文本信息进行产品分类，而这篇文章所提出的模型BerryPIcking TRee MoDel（BIRD）利用产品的文本内容和买方的搜索行为信息作为采莓树。

 

具体而言即为，BIRD在整个搜索过程中，将所有分支序列的语义信息和整体潜在的购买者意图进行编码。

 

大量实验表明本文方法相对其他方法的优势。

 

 

电子商务中的检测系统图示如下

 

采莓模型简短的解释如下

 

 

BerryPicking Tree图示如下

 

这篇文章所提出的模型及亮点在于

 

 

本文主要贡献如下

 

问题描述如下

 

 

 

BIRD整体结构图示如下

 

pooling及注意力机制的用途如下

 

 

所有分支合并的策略如下

 

 

这篇文章还提出了BPTRU

 

一些表达式形式如下

 

考虑双向以及均值pooling之后可以得到以下结果

 

剪枝策略如下

 

 

最终输出利用两层mlp来实现

 

数据集来源如下

 

 

数据集信息统计如下

 

 

参与对比的几种方法如下

 

几种不同的特征组合如下

 

 

几种基准模型描述如下

 

 

衡量指标如下

 

 

参数设置如下

 

 

两种类别中，产品内容单词的分布差异对比如下

 

 

对应的kl散度为

其中几个缩写对应的解释为

 

 

一个session内查询次数及记录数对比，购买次数对比如下

 

 

几种方法的分类效果对比如下

 

其中SWEM对应的论文为

Baseline needs more love: On simple word-embedding-based models and associated pooling mechanisms, ACL 2018

代码地址

https://github.com/dinghanshen/SWEM

 

Transformer对应的论文为

Attention is all you need, NIPS 2017

代码地址

https://github.com/jadore801120/attention-is-all-you-need-pytorch

https://github.com/Lsdefine/attention-is-all-you-need-keras

https://github.com/Kyubyong/transformer

https://github.com/tensorflow/models/tree/master/official/transformer

 

 

DPCNN对应的论文为

Deep pyramid convolutional neural networks for text categorization, ACL 2017

代码地址

https://github.com/Cheneng/DPCNN

 

 

BiGRUCNN对应的论文为

A hybrid framework for text modeling with convolutional RNN, SIGKDD 2017

代码地址

https://github.com/castorini/castor/tree/master/conv_rnn

 

CNNLSTM对应的论文为

A C-LSTM neural network for text classification

代码地址

https://github.com/bicepjai/Deep-Survey-Text-Classification/tree/master/deep_models/paper_14_clstm

 

BiLSTM对应的论文为

LSTMbased deep learning models for non-factoid answer selection, ICLR 2016

代码地址

https://github.com/sachinbiradar9/Question-Answer-Selection

SimpleCNN对应的论文为

Convolutional neural networks for sentence classification, EMNLP 2014

代码地址

https://github.com/yoonkim/CNN_sentence

 

 

不同特征组合的效果对比如下

 

 

本文方法跟其他几种方法的效果对比如下

 

其中BPTRU为

Berrypicking Tree Recurrent Unit

 

 

代码地址

https://github.com/GuoxiuHe/BIRD