赛题信息
赛题数据
约62万条训练集、20万条测试集数据.
每条数据包含13个字段. 其中uuid为样本唯一标识,eid为访问行为ID,udmap为行为属性,其中的key1到key9表示不同的行为属性,如项目名、项目id等相关字段,common_ts为应用访问记录发生时间(毫秒时间戳),其余字段x1至x8为用户相关的属性,为匿名处理字段。target字段为预测目标,即是否为新增用户.
赛题目标
需要基于提供的样本构建模型,预测用户的新增情况.
赛题评价指标
竞赛的评价标准采用f1_score,分数越高,效果越好 .
赛题理解
由任务目标可知,此次赛题是典型的二分类问题 .而要理解竞赛评价标准中的f1_score,就要先理解性能度量的一些指标. (注:此部分来自大佬讲解与机器学习西瓜书)
性能度量
对学习器的泛化性能进行评估,不仅需要有效可行的实验估计方法,还需
要有衡量模型泛化能力的评价标准.
在预测任务中,给定样例集, 其中
是示例 的真实标记.要评估学习器
的性能,就要把学习器预测结果
与真实标记 进行比较.
回归任务最常用的性能度量是“均方误差”
更一般的,对于数据分布D和概率密度函数,均方误差可描述为
而分类常用的性能度量有:
错误率与精度
这两种度量既适用于二分类任务,也使适用于多分类任务。错误率是分类错误的样本数占样本总数的比例,精度则是分类正确的样本数占样本总数的比例.对样例集, 分
类错误率定义为
精度定义为
更一般的,对于数据分布和概率密度函数
,错误率与精度可分别描述为
查准率
、查全率
与![eq?%5Ctextcolor%7Bred%7DF%5Ctextcolor%7Bred%7D1](https://latex.csdn.net/eq?%5Ctextcolor%7Bred%7DF%5Ctextcolor%7Bred%7D1)
也叫准确率与召回率
.
错误率和精度虽常用,但并不能满足所有任务需求.例如在信息检索中,我们经常会关心"检索出的信息中有多少比例是用户感兴趣的" "用户感兴趣的信息中有多少被检索出来了" . 而"查准率"与"查全率"是更为适用于此类需求的性能度量 .
对于二分类问题,可将样例根据其真实类别与学习器预测类别的组合划分为真正例(true positive) 、假正例 (false positive) 、真反倒(true negative) 、假反例 (false negative) 四种情形,令 TP、 FP、 TN、 FN 分别表示其对应的样例数,则显然有 TP+FP+TN+FN=样例总数(Samples).分类结果的"混淆矩阵" (confusion matrix),如下表所示.
真实情况 | 预测结果 | |
正例 | 反例 | |
正例 | ||
反例 |
查准率 P 与查全率 R 分别定义为
查准率和查全率是一对矛盾的度量.一般来说,查准率高时,查全率往往偏低;而查全率高时,查准率往往偏低.
则将两者综合考虑时,度量则经常会被用到: (
是基于查准率与查全率的调和平均(harinonic mean)定义的)
在一些应用场景中,对查准率和查全率的重视程度有所不同.则会出现度量的一般形式 ——
能让我们表达出对查准率/查全率的不同偏好,它定义为
(其中度量了查全率对查准率的相对重要性;
时退化为标准的
;
时查全率有更大影响;
时查准率有更大影响)
因此赛题中评价指标f1_score即为性能度量指标.
解题思路(对baseline的解读)
任务是基于训练集的样本数据,构建一个模型来预测测试集中用户的新增情况。这是一个二分类任务,其中目标是根据用户的行为、属性以及访问时间等特征,预测该用户是否属于新增用户。具体来说,我们需要利用给定的数据集进行特征工程、模型选择和训练,然后使用训练好的模型对测试集中的用户进行预测,并生成相应的预测结果.
而解决机器学习问题时,一般会按以下步骤进行: