赛题理解
文本分类, 目的就是把新闻正确分成14种标签
评价指标
评价标准为类别f1_score的均值,选手提交结果与实际测试集的类别进行对比,结果越大越好。
F1分数(F1-score)是分类问题的一个衡量指标。一些多分类问题的机器学习竞赛,常常将F1-score作为最终测评的方法。它是精确率和召回率的调和平均数,最大为1,最小为0。
F
=
2
⋅
p
r
e
c
i
s
i
o
n
⋅
r
e
c
a
l
l
p
r
e
c
i
s
i
o
n
+
r
e
c
a
l
l
F=2\cdot \frac{precision\cdot recall}{precision+recall}
F=2⋅precision+recallprecision⋅recall
为什么f1_score要这么定义, 首先, 对于分类问题, 有两个很重要的指标, 分别是precision , recall. 为什么会有两个指标呢, 因为对于很多二分类问题来说, 数据并不平衡, 比如 1000个样本里面可能只有100个是正样本, 而对于模型来说, 只要全部判断成负样本, 正确率(不是precision) 也能达到90%. 因此用这样的指标并不能够很好的评价模型的好坏, 因此需要使用精确率与召回率两个指标.
但问题来了, 本题目是多分类问题, 即每个样本都存在一个唯一正确的分类标签, 因此这里面recall不就没有意义了? 因为不存在负样本啊. 选用这个评价指标是否有问题?
至于解题思路, 这里面唯一了解过的就是 word2vec 然后用深度学习来分类了, 目标就是用好这个模型吧. 其他的稍微了解一下算法.
嗯… task01 就这么多了