2018 ATEC NLP比赛 15th 总结

最新推荐文章于 2024-09-08 08:06:47 发布

Johnny_Cuii

最新推荐文章于 2024-09-08 08:06:47 发布

阅读量4.5k

点赞数 2

分类专栏：算法实现数学推导

本文链接：https://blog.csdn.net/cuihuijun1hao/article/details/82318792

版权

本文回顾了2018年ATEC NLP比赛，重点讨论了在解决语义相似度问题时，传统方法失效，而深度学习模型如Siamese LSTM、Decompose Attention和ESIM等的有效性。作者强调了特征工程的重要性，尤其是在预训练词向量和模型融合方面的应用。

摘要由CSDN通过智能技术生成

这次比赛跟以往的比赛似乎很不一样（虽然这个是我第一次参加）,以往比赛的特征技巧，融合技巧，以及一些典型的模型都在这次比赛都失效。我一度怀疑蚂蚁金服是故意设计了数据。。。。

赛题介绍

问题相似度计算，即给定客服里用户描述的两句话，用算法来判断是否表示了相同的语义。

示例：

“花呗如何还款” --“花呗怎么还款”：同义问句
“花呗如何还款” – “我怎么还我的花被呢”：同义问句
“花呗分期后逾期了如何还款”-- “花呗分期后逾期了哪里还款”：非同义问句
对于例子a，比较简单的方法就可以判定同义；对于例子b，包含了错别字、同义词、词序变换等问题，两个句子乍一看并不类似，想正确判断比较有挑战；对于例子c，两句话很类似，仅仅有一处细微的差别 “如何”和“哪里”，就导致语义不一致。

比赛思路

初赛期间，我花了大量时间做特征工程，收效甚微。因为如前面所说，这次比赛传统方法在这次数据里面都没有效果。但是，正因为我在前期做了大量的特征分析，在后期我在设计网络结构的时候能够更加得心应手，比如DIIN 这个网络模型结构，很多top20的队伍都尝试过，可是他们都说这个模型不给力，而这个模型恰恰是我的最强模型，这个跟我之前做的特征工程这部分工作有着紧密的联系。

我预想的比赛的整体流程应该是下图这样，但是最终还是没有用stacking，因为觉得提升不会很大。

这里写图片描述

这次比赛，我是非常遗憾的，也吐槽一下阿里PAI平台，每次模型训练都要排很久的队。。。这次我进复赛的排名很低，前100名进复赛，我是第70进的，排位在前的一些大佬有认识的，但是由于排名低，最终决定自己一个人打比赛。自己一个人打比赛，随之而来的问题很多，其中最严重的问题是对时间利用效率非常低，以至于最终我的模型还没有完全收敛，就提交了最终的分数，而且期间因为一些突发事故，我丢失了几次线上提交机会，在仅剩最后一次提交机会的时候，选择了稳妥一点，但是分数低一些的模型融合。