qqMiSa的博客

开源代码：https://github.com/aBadCat/2020msxf-AI-quality-inspection-competition-4th-place/tree/main/Hierarchical%20Attention%20Network赛题简介：https://blog.csdn.net/qqMiSa/article/details/109264698，除此之外决赛还新增了一个ASR题，由于ASR了解不多，赛程时间短，基本只是采用了https://github.com/Z-yq/T

看群里一直有人求baseline，开赛了一阵了也没有见人分享，这里就整理了一个简单的基于bert文本分类框架。初赛任务针对语音客服通话数据进行投诉舆情风险发现，预测投诉舆情风险高的会话。◆ 呼叫中心每天客服拨打的数据中，会产生一些投诉舆情风险很高的会话，可能是客服态度引起的客户不满，也可能是客户本身情绪不好引起会话风险较高，或者一些其他的有待探究的原因。◆ 由于每天拨打的量很多，而投诉舆情风险很高的会话又非常少，需要我们用算法帮助质检工作人员发现这些高风险的会话，从而尽早的介入。数据初探

比赛结束，由于复现出现了一些失误（现在想来完全可以避免，也算是踩坑了=。=）没能去决赛，这里还是进行一些简单总结。数据特点以及难点：测试集数据采样点紊乱，跟训练集不同，导致很多模型达不到理想效果，且线下验证集几乎都是失效的。训练集给的路由比较脏，测试集也几乎只有起始和终点的路由，中间路由都不干净。预处理部分：（1）将'loadingOrder','carrierName',"longitude","latitude","vesselMMSI"完全相同的重复数据删除，并按照订单号和时间进行

我们团队都是数据挖掘新手，本次是我参加的第三个大数据比赛，也是第二次在Datafoutain平台上获奖（感谢平台..）。这里做一些赛后分享主要面向数据挖掘新手，老鸟轻喷。本次赛题是时序回归预测的赛题，这样的比赛通常有几个大的思路：1）深度学习模型：LSTM等适合时序预测的变种模型2）集成树模型：滑动窗口提取特征构建LGB等集成树模型3）同时涉及时空数据也常有图神经网络来做的，不过这道题的空间信息不太好抽取4）差分移动平均等一些统计规则模型，在预测数据处于波动区间时往往收益较高，也可以快速提统

挖个坑，第一次参加NLP比赛，决赛后填坑。。

记录一下自己第一次参加数据挖掘竞赛的一些收货和经验，等另一个比赛决赛后分享...