2020中兴捧月·图灵赛道TOP2分享·加密文本匹配

摘要

        文本匹配（text matching）技术广泛应用于信息检索、智能问答、对话等业务场景。尽管当前该技术已经相对有了长足的进步，但是随着领域的拓展，标注数据的缺乏，以及用户描述上的多样性，如何精准的匹配用户意图，变得越来越困难。随着5G时代的应用与发展，文本匹配技术应用越来越广泛，要求越来越高。

    针对赛题数据，笔者知道所有文本数据都经过清洗与脱敏处理，被统一分词并编码成词表ID序列。为此，采用预训练模型的方式，先对数据无监督学习，预训练出一个基于比赛方提供的2G无标签数据的BERT[1]模型；在模型构建部分使用了得到的预训练模型，并通过预训练模型多层表示的动态权重融合方式对预训练模型进行修改，而后下接BILSTM和GRU两种异构模型来实现文本匹配；对于模型融合部分，用多异构单模的结果投票的方式融合，最终线上最高成绩为89.100，线上的最终排名为第2名。

关键词

文本匹配，预训练模型，动态融合，多异构模型融合

1 赛题分析

    赛题给定一定数量的标注语料和大量的未标注语料，要求选手设计算法和模型预测给定句对语义层面的关系，实现精准匹配，官方提供的数据中包含25万的标注数据与2G大小的的无监督数据以及1.2万条测试集数据，其中数据字段如图1所示。